CC BY
35
-V ИНФОРМАЦИОННО-УПРАВЛЯЮЩИЕ СИСТЕМЫ I
удк 004.4:004.8 Научные статьи
doi:10.31799/1684-8853-2020-5-33-42 Articles
Нейросетевое прогнозирование событий для роботов с непрерывным обучением
В. Ю. Осипова, доктор техн. наук, профессор, orcid.org/0000-0001-5905-4415, osipov_vasiliy@mail.ru Д. И. Милосердова, аспирант, orcid.org/0000-0002-5312-5531
аСанкт-Петербургский институт информатики и автоматизации РАН, 14-я линия В. О., 39, Санкт-Петербург, 199178, РФ
Введение: большие надежды на существенное расширение возможностей человека в различных сферах деятельности возлагают на создание и применение высокоинтеллектуальных роботов. Для достижения такого уровня интеллектуальности необходимо успешно решать задачи прогнозирования внешней среды и состояний самих роботов. В качестве многообещающих нейросетевых систем прогнозирования выступают решения на основе рекуррентных нейронных сетей с управляемыми элементами. Цель: поиск новых методов и целесообразных нейросетевых структур для прогнозирования событий. Разработка подходов к управлению ассоциативным вызовом информации из памяти нейронных сетей. Методы: компьютерное моделирование рекуррентных нейронных сетей с управляемыми элементами с различными структурами слоев. Результаты: разработан усовершенствованный метод нейросетевого прогнозирования событий с непрерывным обучением роботов. Метод позволяет прогнозировать события как на длинных, так и на коротких выборках временных рядов. Для повышения точности прогнозирования предложены новые правила управления ассоциативным вызовом информации из нейросетевой памяти. Разработана программная система, реализующая предлагаемый метод и допускающая эмуляцию нейронных сетей с различными структурами слоев. На примере прогнозирования городских транспортных потоков проанализированы возможности рекуррентных нейронных сетей с линейными и спиральными структурами слоев. Выигрыш предложенного метода в сравнении с интегрированной моделью авторегрессии — скользящего среднего — по показателю MAPE составил от 4,1 до 7,4 %. Среди исследованных нейросетевых структур наибольшую точность показали спиральные структуры, наименьшую — линейные. Практическая значимость: результаты исследования позволяют повысить точность прогнозирования событий для интеллектуальных роботов.
Ключевые слова — нейронная сеть, прогнозирование событий, непрерывное обучение, робот
Для цитирования: Осипов В. Ю., Милосердов Д. И. Нейросетевое прогнозирование событий для роботов с непрерывным обучением. Информационно-управляющие системы, 2020, № 5, с. 33-42. doi:10.31799/1684-8853-2020-5-33-42
For citation: Osipov V. Yu., Miloserdov D. I. Neural network event forecasting for robots with continuous training. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 5, pp. 33-42 (In Russian). doi:10.31799/1684-8853-2020-5-33-42
Введение
Большие надежды на существенное повышение эффективности деятельности человека в различных сферах возлагаются на создание и применение высокоинтеллектуальных роботов. Для достижения необходимого уровня интеллектуальности роботов требуется успешно решать задачи прогнозирования их состояний и внешней среды. Специфика этих задач такова, что состояние роботов и внешней среды определяется большим количеством внутренних и внешних постоянно изменяющихся факторов. Перспективные роботы в общем случае должны функционировать в условиях с высокой степенью неопределенности событий [1-4].
Для эффективного прогнозирования среды и внутренних состояний роботов в этих условиях необходимо наличие соответствующих методов. Эти методы на основе обработки временных рядов событий, несущих информацию о наблюдаемых процессах, должны выдавать в систему управления роботом точные и своевременные прогнозы.
В настоящее время для прогнозирования временных рядов в интересах как роботов, так и
других систем используют различные методы и инструменты [1, 5-6]. Широко применяют линейные и нелинейные регрессионные, а также другие модели [5]. К числу перспективных решений относятся методы, основанные на использовании искусственных нейронных сетей (НС). Все многообразие нейросетевых архитектур можно разделить на НС прямого распространения, рекуррентные нейронные сети (РНС) и гибридные решения.
Нейронные сети прямого распространения [713] благодаря простоте реализации и обучения нашли широкое применение при прогнозировании. Так, для прогнозирования дорожного трафика в работе [7] использована нейронная сеть с двумя скрытыми слоями. В [8] применены автокодировщики, а в [9] использованы медианные нейронные сети. Похожие исследования затрагивают проблему прогнозирования экономических временных рядов [10-13]. Тем не менее возможности НС прямого распространения существенно ограничены по точности и горизонту прогноза. В этих сетях при прогнозировании не учитываются обратные результаты. Такие сети не способны
без переобучения адаптироваться к меняющимся внутренним и внешним факторам, влияющим на динамику анализируемых временных рядов.
Рекуррентные нейронные сети [14-20] обладают меньшими недостатками. Обзор архитектур РНС применительно к задаче прогнозирования временных рядов приведен в работе [14]. Распространено применение нейросетевых структур с долгой краткосрочной памятью [15-17] и с управляемыми рекуррентными нейронами [21]. Для прогнозирования применяются многослойная ограниченная машина Больцмана [18], сети Эльмана [19], ряд других архитектур [20]. Возможности РНС значительно выше, чем у НС прямого распространения. Однако системы прогнозирования на основе РНС во многом не проработаны. Для них характерны невысокая устойчивость, необходимость прерывания на переобучение для прогнозирования временных рядов с изменяющимися законами поведения, трудности при ассоциативном вызове ранее запомненной информации [14-21].
Появление гибридных нейросетевых решений вызвано желанием преодолеть ограничения отдельных архитектур [22-25]. В работе [22] предложен подход, основанный на комбинировании долгой краткосрочной памяти и сверточных нейронных сетей. В [23] используются глубокие сети доверия. Гибрид нейронных сетей состояний «эхо» и квантовых сетей предложен в [24]. В [25] рассмотрен подход, основанный на объединении НС прямого распространения и нечетких систем. Объединение нескольких типов НС в единую систему позволяет немного расширить возможности систем прогнозирования, но это не устраняет принципиальных недостатков, характерных НС прямого распространения и РНС. Кроме этого, усложняется общая архитектура.
В качестве многообещающих нейросетевых систем прогнозирования выступают решения на основе РНС с управляемыми элементами [26-32]. Полученные результаты применения этих систем в условиях динамичной обстановки и несовершенства выборок временных рядов свидетельствуют, что по точности и горизонту прогнозирования они превосходят известные подходы [32]. Используемые в этих системах прогнозирования РНС с управляемыми элементами [31, 32] обладают расширенными возможностями ассоциативного связывания и запоминания обрабатываемых сигналов, а также извлечения их из памяти. Их возможности во многом зависят от видов логических структур слоев РНС, реализуемых правил управления ассоциативной памятью, способов применения самих сетей. В настоящее время нет однозначного ответа на вопрос, какие структуры слоев РНС с управляемыми элементами предпочтительно использовать в интересах решения задач прогнозирования временных рядов.
Кроме этого, во многом не исследованы подходы к управлению ассоциативным вызовом информации из памяти этих сетей. Остаются открытыми вопросы поиска целесообразных методов применения этих РНС.
В настоящей статье уточняется предложенный в работе [32] метод прогнозирования временных рядов с использованием РНС с управляемыми элементами, который позволяет получать прогнозы с непрерывным обучением этих сетей. Раскрывается архитектура реализующей его программной системы. Оцениваются возможности прогнозирования временных рядов этим методом с применением РНС с различными структурами слоев. Даются рекомендации по применению предлагаемого метода в перспективных интеллектуальных системах.
Метод нейросетевого прогнозирования
Поясним усовершенствованный метод нейро-сетевого прогнозирования событий для роботов на примере реализующей его системы. В состав обобщенной блок-схемы этой системы (рис. 1) входят две идентичные двухслойные РНС с управляемыми элементами, а также блок управления прогнозированием. На вход РНС1 подаются сигналы, преобразованные в последовательности совокупностей единичных образов (СЕО). Поданные в РНС1 СЕО продвигаются вдоль слоев согласно заданной схеме [см. 28]. В качестве таких схем могут выступать линейные, спиральные, петлевые и др. Такое продвижение обеспечивается за счет пространственных сдвигов СЕО при передаче от одного слоя к другому [30]. При продвижении последовательностей СЕО в РНС1 они связываются. Результаты связывания запоминаются на элементах сети.
В процессе непрерывного обучения в РНС1 формируются постоянно обновляемые модели воспринимаемых сигналов. На правом выходе РНС1 можно получать результаты распознавания обработанных сетью последовательностей СЕО.
В интересах предсказания событий для роботов в системе на рис. 1 блоком управления прогнозированием считывается информация о состоянии элементов из РНС1 в РНС2. После наделения РНС2 этой информацией запускается процесс обработки в ней сигналов и ускоренного вызова из ассоциативной памяти результатов прогноза в виде выходных СЕО2. Для повышения эффективности прогнозирования осуществляется усиление такого вызова в направлении входа РНС2 собственным блоком управления этой сети. Вызванные из ассоциативной памяти результаты прогнозирования следуют в РНС2 за обрабатываемыми СЕО. В случаях обработки
Вход
Первый слой нейронов
Второй блок синапсов
РНС1
47
Блок управления прогнозированием
Первый блок единичных задержек
Первый блок синапсов
Блок управления
Второй блок единичных задержек
Второй слой нейронов
Выход
РНС2
V
Выходные
СЕО2 (прогноз)
Выходные СЕО1
■ Рис. 1. Обобщенная схема системы, реализующей метод нейросетевого прогнозирования событий для роботов с непрерывным обучением
■ Fig. 1. A generalized scheme of a system that implements the method of neural network event prediction for robots with continuous training: SSP is a set of single pulses; RNN1, RNN2 are the first and the second identical recurrent neural networks
малых выборок в РНС2 предлагается сначала их удлинять за счет вызова из памяти предшествующих сигналов, а затем только осуществлять прогнозирование. Для этого предлагается сначала усиливать ассоциативный вызов сигналов из памяти РНС2 в направлении выхода, а затем в направлении входа. После того как результаты прогноза в виде последовательности будущих СЕО2 получены, может начинаться очередной цикл считывания с РНС1 информации о состоянии ее элементов в РНС2 и прогнозирование ею событий относительно очередного момента времени.
Пример логической схемы применяемой РНС со структурой слоев в виде сходящейся, а не постоянной по диаметру [29, 30] спирали, показан на рис. 2.
В рекуррентных нейронных сетях усиление ассоциативного вызова сигналов из памяти в требуемом направлении осуществляется за счет изменения параметров расходимости единичных образов соответствующих совокупностей при передаче от слоя к слою [26]. В соответствии с более ранними исследованиями [27] амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умно-
женной на вес м^) синапса. Веса м^) синапсов определяются через произведение их весовых коэффициентов Ъц($) и функций ослабления Р(г^)),
^(rij(t)) расходящихся и сходящихся единичных образов [26, 27]:
Wij(t) = kjt) ■ ß(ry(t)) ■ ^(rij(t)).
Весовые коэффициенты kij(t) изменяются в за-
ij
висимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. Единичные образы, проходя через синапсы, снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Для каждого динамического синапса, связывающего i-й нейрон с j-м нейроном, весовой коэффициент ki;(t) на момент времени t поступления на синапс очередного единичного образа может определяться согласно правилам [27]
kij(t) = (1 - exp(-y£i/t)))/(1 + exp(-ygij(t))) = = th(ygy(t)/2),
giß) = giß - + bgiß)>
Входные СЕО
Выходные СЕО
■ Рис. 2. Структура РНС в виде сходящейся спирали: 1, 3 — направления продвижения СЕО вдоль и между слоями РНС; 2 — линии разделения слоев на логические поля; 4 — нейроны первого и второго слоев
■ Fig. 2. The RNN structure in the form of a converging spiral: 1, 3 — direction of SSPs promotion along and between the layers of the RNN; 2 — the lines of splitting layers into logical fields due to spatial shifts of SSPs during transmission from one layer to another; 4 — neurons of the first and second layers
где gij(Ь), gij(Ь - ДЬ) — предыстория на моменты времени Ь и ДЬ соответственно; gij(0) = 0; у — некоторый положительный коэффициент. Величина Дgij(t) определяется в зависимости от состояний ^о и у-го нейронов. Если ^й нейрон сгенерировал сигнал и после этого возбудился -й нейрон, то
Дgi ч(Ь) присваивается некоторая положительная
ч
величина. В случае, если возбуждение -го нейрона произошло без участия ^о нейрона, то Дgij(t) отрицательно. В остальных вариантах Дgi ч(Ь) = 0.
Функции Р(г- (Ь)) ослабления единичных образов зависят от г-(Ь) — условной удаленности связываемых через синапсы нейронов (условных расстояний между ними) на текущий момент времени. Для расчета Р(г-(Ь)) и г-(Ь) применимы формулы [26]
Р(Гч (Ь)) = 1/(1 + а(г- (0)1/^), г- (Ь) = ((Дх- (ь))2 + Дуу (Ь)2)1/2,
где а, к — положительные коэффициенты; Дх-(Ь), ДУу(Ь) — проекции связи ^го нейрона с у-м нейроном на оси X и У без учета пространственных сдвигов. Полагается, что расстояние между слоями пренебрежимо мало.
Согласно этим формулам смешение СЕО вдоль слоев реализуемо за счет изменения г-(Ь) путем задания значений Дх-(Ь) и Дуч(Ь). Расходимость
единичных образов в РНС управляется изменением коэффициентов а. Возможны и другие варианты такого управления [31].
Функции изменения параметров расходимости единичных образов в РНС возлагаются на блоки управления этих сетей. Однако команды на такие изменения предлагается подавать с блока управления прогнозированием в зависимости от условий заполнения РНС1 обрабатываемыми совокупностями единичных образов на момент считывания с нее информации. В случае заполнения РНС1 СЕО не меньше заданного значения обрабатываемая выборка временных рядов считается длинной, в противном случае — короткой. С учетом этого для РНС2 задается режим прогнозирования на длинных или коротких выборках.
В качестве результатов прогнозирования на выходе РНС2 выступают те СЕО, которые следуют за вызывающими их сигналами.
Алгоритм нейросетевого прогнозирования
Принимая во внимание вышесказанное, предлагаемый усовершенствованный метод можно представить в виде следующей последовательности шагов.
Шаг 1. Ввод в систему нейросетевого прогнозирования наблюдаемых сигналов.
Шаг 2. Преобразование этих сигналов в последовательность совокупностей единичных образов в базисе, согласованном с входом РНС1.
Шаг 3. Ассоциативная обработка в РНС1 преобразованных сигналов. Формирование и запоминание на элементах сети модели обрабатываемых сигналов с учетом накопленного опыта.
Шаг 4. Считывание информации о состоянии элементов из РНС1 в блок управления прогнозированием. Определение параметров загрузки РНС1 входными сигналами, длины выборки и положения выборки на слоях сети. Принятие решения о режиме прогнозирования. Перенос информации о состоянии элементов РНС1 в РНС2.
Шаг 5. Если загрузка РНС1 входными сигналами сосредоточена до середины ее слоев, а остальные части слоев свободны или слабо загружены, то осуществляется переход к шагу 7 прогнозирования с возможным удлинением коротких выборок.
Шаг 6. Запуск и реализация процесса обработки в РНС2 сигналов с ускоренным вызовом из ассоциативной памяти результатов прогноза в направлении входа этой сети в виде совокупностей единичных образов. Переход к шагу 9.
Шаг 7. Запуск и реализация процесса обработки в РНС2 сигналов с ускоренным вызовом информации из ассоциативной памяти в направлении выхода этой сети в течение времени, зависящего от длины обрабатываемой выборки и ее положения на слоях сети. Результат такой частичной обработки — удлинение справа обрабатываемых коротких выборок.
Шаг 8. Изменение направленности ассоциативного вызова информации из памяти РНС2 в сторону входа сети и продолжение реализации процесса обработки сигналов с формированием прогноза.
Шаг 9. Обратное преобразование результатов прогнозов в РНС2 в соответствующие им исходные сигналы.
Согласно этому алгоритму основное усовершенствование базового метода состоит в правилах ассоциативного вызова информации из памяти РНС2 для прогнозирования сигналов как на длинных, так и на коротких выборках. На удлинение коротких выборок может тратиться не менее У времени, отводимого на всю обработку сигналов в РНС2. В случае обработки неоднородных входных выборок с пропусками сигналов и ложными выбросами возможно прогнозирование с усреднением многошаговых прогнозов, полученных относительно смещенных моментов времени.
За счет предлагаемого метода предоставляется возможность успешно прогнозировать различные события не только без прерывания обучения, но и на различных длинах выборок обрабатываемых временных рядов.
Программная реализация
Предложенный метод был реализован в программной системе прогнозирования на языке С++ с применением фреймворка Qt [29, 31]. Архитектура этой системы представлена на рис. 3. Программная система прогнозирования позво-
■ Рис. 3. Архитектура программной системы нейросетевого прогнозирования
■ Fig. 3. Architecture of software neural network forecasting system
а)
б)
в)
V
V
/
\ t
>
г)
д)
/ \
V
N /
/
/
V
■ Рис. 4. Логические структуры слоев РНС, реализованных в программной системе прогнозирования: а, б, в — линейная, петлевая и спиральная структуры; г, д — структуры в виде сходящейся и расходящейся спирали
■ Fig. 4. Logical structures of the RNN layers implemented in the forecasting software system: a, б, в — linear, loop and spiral structures; г, д — structures in the form of converging and diverging spiral
ляет конфигурировать любую логическую структуру применяемых РНС, выбирать количество и размер логических полей, настраивать другие параметры.
Для оценки возможностей предложенного метода формировались пять различных конфигураций РНС, входящих в систему прогнозирования. Конфигурации отличались только типами реализуемых логических структур РНС при 768 нейронах в каждом слое. За счет реализуемых пространственных сдвигов СЕО слои РНС разбивались на 24 поля по 32 нейрона. Направления продвижения СЕО вдоль слоев в таких конфигурациях показаны на рис. 4.
При прочих равных параметрах РНС оценивались возможности прогнозирования предложенным методом и реализующей его программной системой в этих пяти конфигурациях.
Исходные данные и результаты прогнозирования
Для прогнозирования был выбран эталонный набор данных Лаборатории исследования транспортных данных (ТБКЬ) [33]. Этот набор содержит информацию о дорожной ситуации в городах-побратимах Миннесота и Ротчестер, полученную с микроволновых датчиков. Для проведения исследования были выбраны данные об объеме трафика (файлы *.у30) в период с 12 по 24 января 2018 года с детекторов № 51, 56, 61, 77, 80, 90, 453. Данные за 12-23 января 2018 года исполь-
зовались для обучения РНС, в то время как прогнозирование выполнялось на горизонт, равный одним суткам (24 января 2018 года). Интервал составлял 3 часа, а количество прогнозируемых значений равнялось восьми.
На этих исходных данных были получены результаты прогнозирования, которые сравнивались с реальными значениями объема трафика за 24 января 2018 года. Метрики, используемые при оценке точности, включали среднюю абсолютную процентную ошибку (MAPE), среднюю абсолютную ошибку (MAE) и среднеквадратическую ошибку (RMSE):
MAPEk = ZN= i(\Rki - Fki\/Rk) ■ 100%/N;
MAEk = Zt i(\Rki- Fki\)/N;
RMSEk = (ZN= i((Rki - Fki)2)/t)1/2,
где k = 1..7; N = 8; Rki — реальные значения; Fki — прогнозные значения.
Результаты оценивания точности прогнозирования по этим метрикам для рассмотренных пяти конфигураций программной системы представлены в таблице. В этой же таблице для сравнения приведены оценки, полученные на таких же исходных данных с помощью модели Бокса — Дженкинса (ARIMA — autoregressive integrated moving average).
Результаты показывают, что все пять конфигураций продемонстрировали достаточно высокую точность прогнозирования объема дорожного трафика. Она выше точности ARIMA.
■ Результаты оценивания точности прогнозирования
■ The results of the evaluation of prediction accuracy
Структура РНС Показатель Датчик Среднее
1 2 3 4 5 6 7
Линейная MAE 1,63 1,39 0,34 0,53 0,30 0,68 0,69 0,79
MAPE 27,90 19,20 22,70 10,00 11,60 30,50 20,40 20,30
RMSE 2,22 2,18 0,44 1,06 0,43 0,98 0,98 1,18
Спираль с постоянным диаметром MAE 1,15 1,07 0,47 0,53 0,18 0,68 0,63 0,67
MAPE 18,80 13,80 25,90 10,00 8,90 30,50 11,30 17,00
RMSE 1,80 1,78 0,65 1,06 0,21 0,98 0,96 1,06
Петлевая MAE 1,29 1,44 0,33 0,60 0,18 0,69 0,63 0,74
MAPE 20,70 24,00 22,30 14,40 8,90 30,50 11,30 18,90
RMSE 2,01 2,37 0,42 1,08 0,21 0,99 0,96 1,15
Спираль сходящаяся MAE 1,29 1,27 0,33 0,59 0,18 0,65 0,63 0,71
MAPE 21,10 16,60 22,30 10,80 8,90 28,50 11,30 17,10
RMSE 1,87 2,04 0,42 1,09 0,21 0,97 0,96 1,08
Спираль расходящаяся MAE 0,97 1,13 0,44 0,55 0,18 0,71 0,63 0,66
MAPE 15,50 14,50 25,80 10,30 8,90 32,40 11,30 17,00
RMSE 1,72 1,95 0,55 1,07 0,21 0,99 0,96 1,06
ЛШМЛ MAE 1,72 1,34 0,61 0,89 0,36 0,80 0,65 0,91
MAPE 30,10 19,00 30,80 17,40 13,90 41,20 18,70 24,40
RMSE 2,50 2,03 1,12 1,16 0,50 1,19 0,94 1,35
Наилучшие результаты характерны для спиральных структур, которые предпочтительнее линейных.
Наблюдаемый результат объясним преимуществом спиральных нейросетевых структур с точки зрения плотности ассоциативного связывания вызываемых сигналов с теми СЕО, которые уже находятся на слоях РНС. В то же время линейная структура может обеспечить относительно плотное связывание только ближайших СЕО, а влияние других единичных образов по мере удаления становится пренебрежимо малым.
Заключение
В результате данного исследования был разработан и проанализирован усовершенствованный метод нейросетевого прогнозирования событий с применением двух экземпляров потоковых РНС с управляемыми элементами. Согласно методу первый экземпляр постоянно находится в режиме обучения, благодаря чему на его синапсах выстраивается и постоянно обновляется пространственно-временная модель анализируемых событий. В интересах предсказания блок
управления прогнозированием считывает эту модель во второй экземпляр и запускает в нем процесс обработки информации, в результате чего из ассоциативной памяти вызываются результаты прогнозирования. Усовершенствованный метод предполагает прогнозирование не только с непрерывным обучением, но и на различных длинах выборок. Если выборка признается короткой, то при ее обработке вначале в целях получения предшествующих значений осуществляется усиление ассоциативного вызова сигналов в направлении выхода сети. Затем блок управления прогнозированием усиливает вызов сигналов в направлении входа сети, и выполняется прогноз. Наличие возможности управлять направленностью ассоциативного вызова сигналов позволяет уменьшить количество ошибок в виде пробелов в будущих событиях без искажения последовательности сигналов, которые их вызывают.
Для поиска целесообразной структуры слоев применяемой рекуррентной НС проведено исследование пяти вариантов (линейной, петлевой, спиральной структур, а также конфигураций в виде сходящейся и расходящейся спиралей). Для этого на языке программирования С++ разработана программная система прогнозирования, реали-
зующая предложенный метод. Исследование эффективности этих структур проводилось на примере прогнозирования городских транспортных потоков. В качестве исходных данных был выбран эталонный набор TDRL. Результаты сравнительной оценки эффективности предложенного метода с известной моделью ARIMA на одних и тех же исходных данных показали существенное преимущество предложенных решений. В частности, выигрыш по показателю MAPE составил
Литература
1. Brockwell P. J., Davis R. A. Introduction to Time Series and Forecasting. Springer, 2016. 425 p.
2. Nagy A. M., Simon V. Survey on traffic prediction in smart cities. Pervasive and Mobile Computing, 2018, vol. 50, pp. 148-163. doi:10.1016/j.pmcj.2018.07.004
3. Bok B., Caratelli D., Giannone D., Sbordone A. M., Tambalotti A. Macroeconomic nowcasting and forecasting with big data. Annual Review of Economics, 2018, vol. 10, pp. 615-643. doi:10.1146/annurev-eco-nomics-080217-053214
4. Timmermann A. Forecasting methods in finance. Annual Review of Financial Economics, 2018, vol. 10, pp. 449-479. doi:10.1146/annurev-financial-110217-022713
5. Welc J., Esquerdo P. J. R. Applied Regression Analysis for Business. Cham, Springer Nature Switzerland AG, 2018. 286 p. doi:10.1007/978-3-319-71156-0
6. Singh P. Applications of Soft Computing in Time Series Forecasting. Cham, Springer International Publishing Switzerland, 2016. doi:10.1007/978-3-319-26293-2
7. Скоробогатченко Д. А., Степанова П. Ю. Применение искусственных нейронных сетей при краткосрочном прогнозировании уровня загрузки городских автомобильных дорог. Известия Волгоградского государственного технического университета, 2017, № 14(209), с. 24-30.
8. Zhou T., Han G., Xu X., Lin Z., Han C., Huang Y., Qin J. S-agree AdaBoost stacked autoencoder for short-term traffic flow forecasting. Neurocomputing, 2017, vol. 247, pp. 31-38. http://dx.doi.org/10.1016/j. neucom.2017.03.049
9. Egrioglu E., Yolcu U., Bas E., Dalar A. Z. Median-Pi artificial neural network for forecasting. Neural Computing & Applications, 2019, vol. 31, pp. 307-316. doi: 10.1007/s00521-017-3002-z
10. Herrera I., Chicaiza J., Herrera E., Lorente-Leyva L., Caraguay-Procel J., Garcia-Santillan I., Peluffo D. Artificial neural networks for bottled water demand forecasting: A small business case study. Advances in Computational Intelligence: Proceedings of 15th International Work-Conference on Artificial Neural Networks (IWANN 2019), Gran Canaria, Spain, June 12-14, 2019, Lecture Notes in Computer
от 4,1 до 7,4 %. Ошибки по метрике RMSE ниже на значения от 0,17 до 0,29 и по MAE — от 0,12 до 0,2. Среди исследованных структур наибольшую точность показали спиральные структуры. Это объясняется более низкой плотностью ассоциативного связывания сигналов в линейной конфигурации. Разработанный метод рекомендуется для использования в современных робототехни-ческих и других интеллектуальных системах для прогнозирования различных событий.
Science, 2019, vol. 11507. doi:10.1007/978-3-030-20518-8_31
11. Chawla A., Singh A., Lamba A., Gangwani N., Soni U.
Demand Forecasting Using Artificial Neural Networks — A Case Study of American Retail Corporation. In: Applications of Artificial Intelligence Techniques in Engineering. Series: Advances in Intelligent Systems and Computing, 2019. Vol. 697. doi:10.1007/978-981-13-1822-1_8
12. Wu W., Wang X. The coal demand prediction based on the grey neural network model. LISS 2014: Proceedings of 4th International Conference on Logistics, Informatics and Service Science, Springer, Heidelberg, 2015, pp. 1337-1343. doi:10.1007/978-3-662-43871-8_194
13. Christopher J., Mou J., Yin D. Convolutional neural network deep-learning models for prediction of shared bicycle demand. International Conference on Applications and Techniques in Cyber Security and Intelligence (ATCI 2018), 2019, vol. 842. doi:10. 1007/978-3-319-98776-7_1
14. Bianchi F. M., Maiorino E., Kampffmeyer M. C., Riz-zi A., Jenssen R. Recurrent Neural Networks for Short-Term Load Forecasting. Springer, 2017. 72 p. doi:10.1007/978-3-319-70338-1
15. Yang B., Sun S., Li J., Lin X., Tian Y. Traffic flow prediction using LSTM with feature enhancement. Neurocomputing, 2019, vol. 332, pp. 320-327. doi:10. 1016/j.neucom.2018.12.016
16. Tian Y., Zhang K., Li J., Lin X., Yang B. LSTM-based traffic flow prediction with missing data. Neurocomputing, 2018, vol. 318, pp. 297-305. doi:10.1016/j. neucom.2018.08.067
17. Prokoptsev N. G., Alekseenko A. E., Kholodov Ya. A. Traffic flow speed prediction on transportation graph with convolutional neural networks. Computer Research and Modeling, 2018, vol. 10, no. 3, pp. 359367. doi:10.20537/2076-7633-2018-10-3-359-367
18. Goudarzi S., Kama M. N., Anisi M. H., Soleymani S. A., Doctor F. Self-organizing traffic flow prediction with an optimized deep belief network for Internet of vehicles. Sensors, 2018, vol. 18, iss. 10, 3459. doi:10. 3390/s18103459
19. Krichene E., Masmoudi Y., Alimi A. M., Abraham A., Chabchoub H. Forecasting using elman recurrent neural network. ISDA 2016: Proceedings of Interna-
tional Conference on Intelligent Systems Design and Application, Springer, 2017, vol. 557. doi:10.1007/978-3-319-53480-0_48
20. Schmidhuber J. Deep learning in neural networks: An overview. Neural Networks, 2015, vol. 61, pp. 85117. doi:10.1016/j.neunet.2014.09.003
21. Junyoung Chung, Caglar Gulcehre, Kyung Hyun Cho, Yoshua Bengio. Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv:1412.3555v1 [cs. NE] 11 Dec 2014. https://arx-iv.org/pdf/1412.3555.pdf (дата обращения: 30 июня 2020).
22. Shen Z., Zhang Y., Lu J., Xu J., Xiao G. A novel time series forecasting model with deep learning. Neurocomputing, 2019, vol. 396, pp. 302-313. doi:10.1016/j. neucom.2018.12.084
23. Fan C., Ding C., Zheng J., Xiao L., Ai Z. Empirical mode decomposition based multi-objective deep belief network for short-term power load forecasting. Neurocomputing, 2020, vol. 388, pp. 110-123. doi:10. 1016/j.neucom.2020.01.031
24. Junxiu L., Tiening S., Yuling L., Su Y., Yi C., Jia Z. An echo state network architecture based on quantum logic gate and its optimization. Neurocomputing, 2020, vol. 371, pp. 100-107. doi:10.1016/j.neucom. 2019.09.002
25. Haitao L. Research on prediction of traffic flow based on dynamic fuzzy neural networks. Neural Computing & Applications, 2016, vol. 27, pp. 19691980. doi:10.1007/s00521-015-1991-z
26. Осипов В. Ю. Ассоциативная интеллектуальная машина. Информационные технологии и вычислительные системы, 2010, № 2, с. 59-67.
27. Пат. RU 2413304 C1. Способ и устройство интеллектуальной обработки информации в нейронной сети / В. Ю. Осипов, М. В. Осипова (РФ). № 2009141077.08; заявл. 02.11.2009; опубл. 27.02.2011; Бюл. 6.
28. Осипов В. Ю. Нейросетевое прогнозирование событий для интеллектуальных роботов. Мехатрони-ка, Автоматизация, Управление, 2015, № 12, с. 836-840.
29. Осипов В. Ю. Рекуррентная нейронная сеть со спиральной структурой слоев. Информационно-управляющие системы, 2012, № 6, с. 28-32.
30. Осипов В. Ю., Никифоров В. В. Возможности рекуррентных нейронных сетей с управляемыми элементами по восстановлению потоков кадров. Информационно-управляющие системы, 2019, № 5, с. 10-17. doi:10.31799/1684-8853-2019-5-10-17
31. Osipov V., Osipova M. Space-time signal binding in recurrent neural networks with controlled elements. Neurocomputing, 2018, vol. 308, pp. 194-204. doi:10. 1016/j.neucom.2018.05.009
32. Osipov V., Nikiforov V., Zhukova N., Miloserdov D. Urban traffic flows forecasting by recurrent neural networks with spiral structures of layers. Neural Computing and Applications, 2020. doi:10.1007/ s00521-020-04843-5
33. http://www.d.umn.edu/~tkwon/TMCdata/TMCar-chive.html (дата обращения: 17 декабря 2019).
/
UDC 004.4:004.8
doi:10.31799/1684-8853-2020-5-33-42
Neural network event forecasting for robots with continuous training
V. Yu. Osipova, Dr. Sc., Tech., Professor, orcid.org/0000-0001-5905-4415, osipov_vasiliy@mail.ru D. I. Miloserdova, Post-Graduate Student, orcid.org/0000-0002-5312-5531
aSaint-Petersburg Institute for Informatics and Automation of the RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation
Introduction: High hopes for a significant expansion of human capabilities in various fields of activity are pinned on the creation and use of highly intelligent robots. To achieve this level of robot intelligence, it is necessary to successfully solve the problems of predicting the external environment and the state of the robots themselves. Solutions based on recurrent neural networks with controlled elements are promising neural network forecasting systems. Purpose: Search for appropriate neural network structures for predicting events. Development of approaches to controlling the associative call of information from a neural network memory. Methods: Computer simulation of recurrent neural networks with controlled elements and various structures of layers. Results: An improved method of neural network event forecasting with continuous robot training has been developed. This method allows you to predict events on either long or short samples of time series. In order to improve the forecasting accuracy, new rules have been proposed for controlling the associative call of information from the neural network memory. A software system has been developed which implements the proposed method and supports the emulation of neural networks with various layer structures. The possibilities of recurrent neural networks with linear or spiral layer structures are analyzed using the example of urban traffic flow forecasting. The gain of the proposed method in comparison with the ARIMA model for the MAPE indicator is from 4.1 to 7.4%. Among the studied neural network structures, the spiral structures have shown the highest accuracy, and linear structures have shown the lowest accuracy. Practical relevance: The results of the study can be used to improve the accuracy of event forecasting for intelligent robots. Keywords — neural network, events forecasting, continuous training, robot.
For citation: Osipov V. Yu., Miloserdov D. I. Neural network event forecasting for robots with continuous training. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 5, pp. 33-42 (In Russian). doi:10.31799/1684-8853-2020-5-33-42
References
1. Brockwell P. J., Davis R. A. Introduction to Time Series and Forecasting. Springer, 2016. 425 p.
2. Nagy A. M., Simon V. Survey on traffic prediction in smart cities. Pervasive and Mobile Computing, 2018, vol. 50, pp. 148-163. doi:10.1016/j.pmcj.2018.07.004
3. Bok B., Caratelli D., Giannone D., Sbordone A. M., Tamba-lotti A. Macroeconomic nowcasting and forecasting with big data. Annual Review of Economics, 2018, vol. 10, pp. 615-643. doi:10.1146/annurev-economics-080217-053214
4. Timmermann A. Forecasting methods in finance. Annual Review of Financial Economics, 2018, vol. 10, pp. 449-479. doi:10.1146/annurev-financial-110217-022713
5. Welc J., Esquerdo P. J. R. Applied Regression Analysis for Business. Cham, Springer Nature Switzerland AG, 2018. 286 p. doi:10.1007/978-3-319-71156-0
6. Singh P. Applications of Soft Computing in Time Series Forecasting. Cham, Springer International Publishing Switzerland, 2016. doi:10.1007/978-3-319-26293-2
7. Skorobogatchenko D. A., Stepanova P. Yu. Application of artificial neural networks with short-term prediction of the level of loading of urban automobile roads. Izvestia VSTU, no. 14(209), pp. 24-30 (In Russian).
8. Zhou T., Han G., Xu X., Lin Z., Han C., Huang Y., Qin J. S-agree AdaBoost stacked autoencoder for short-term traffic flow forecasting. Neurocomputing, 2017, vol. 247, pp. 31-38. http://dx.doi.org/10.1016/j.neucom.2017.03.049
9. Egrioglu E., Yolcu U., Bas E., Dalar A. Z. Median-Pi artificial neural network for forecasting. Neural Computing & Applications, 2019, vol. 31. pp. 307-316. doi: 10.1007/ s00521-017-3002-z
10. Herrera I., Chicaiza J., Herrera E., Lorente-Leyva L., Cara-guay-Procel J., Garcia-Santillan I., Peluffo D. Artificial neural networks for bottled water demand forecasting: A small business case study. Proceedings of 15th International Work-Conference on Artificial Neural Networks (IWANN 2019) "Advances in Computational Intelligence", Gran Canaria, Spain, June 12-14, 2019, Lecture Notes in Computer Science, 2019, vol. 11507. doi:10.1007/978-3-030-20518-8_31
11. Chawla A., Singh A., Lamba A., Gangwani N., Soni U. Demand Forecasting Using Artificial Neural Networks — A Case Study of American Retail Corporation. In: Applications of Artificial Intelligence Techniques in Engineering. Series: Advances in Intelligent Systems and Computing, 2019. Vol. 697. doi:10.1007/978-981-13-1822-1_8
12. Wu W., Wang X. The coal demand prediction based on the grey neural network model. Proceedings of 4th International Conference on Logistics, Informatics and Service Science (LISS 2014), Springer, Heidelberg, 2015, pp. 1337-1343. doi:10.1007/978-3-662-43871-8_194
13. Christopher J., Mou J., Yin D. Convolutional neural network deep-learning models for prediction of shared bicycle demand. International Conference on Applications and Techniques in Cyber Security and Intelligence (ATCI2018), 2019, vol. 842. doi:10.1007/978-3-319-98776-7_1
14. Bianchi F. M., Maiorino E., Kampffmeyer M. C., Rizzi A., Jenssen R. Recurrent Neural Networks for Short-Term Load Forecasting. Springer, 2017. 72 p. doi:10.1007/978-3-319-70338-1
15. Yang B., Sun S., Li J., Lin X., Tian Y. Traffic flow prediction using LSTM with feature enhancement. Neurocomputing, 2019, vol. 332, pp. 320-327. doi:10.1016/j.neucom. 2018.12.016
16. Tian Y., Zhang K., Li J., Lin X., Yang B. LSTM-based traffic flow prediction with missing data. Neurocomputing, 2018, vol. 318, pp. 297-305. doi:10.1016/j.neucom. 2018.08.067
17. Prokoptsev N. G., Alekseenko A. E., Kholodov Ya. A. Traffic flow speed prediction on transportation graph with con-volutional neural networks. Computer Research and Modeling, 2018, vol. 10, no. 3, pp. 359-367. doi:10.20537/2076-7633-2018-10-3-359-367
18. Goudarzi S., Kama M. N., Anisi M. H., Soleymani S. A., Doctor F. Self-organizing traffic flow prediction with an optimized deep belief network for Internet of vehicles. Sensors, 2018, vol. 18, iss. 10, 3459. doi:10.3390/s18103459
19. Krichene E., Masmoudi Y., Alimi A. M., Abraham A., Chabchoub H. Forecasting using elman recurrent neural network. Proceedings of International Conference on Intelligent Systems Design and Application (ISDA 2016), Springer, 2017, vol. 557. doi:10.1007/978-3-319-53480-0_48
20. Schmidhuber J. Deep learning in neural networks: An overview. Neural Networks, 2015, vol. 61, pp. 85-117. doi:10. 1016/j.neunet.2014.09.003
21. Junyoung Chung, Caglar Gulcehre, Kyung Hyun Cho, Yosh-ua Bengio. Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv:1412.3555v1 [cs. NE] 11 Dec 2014. Available at: https://arxiv.org/pdf/1412.3555. pdf (accessed 30 June 2020).
22. Shen Z., Zhang Y., Lu J., Xu J., Xiao G. A novel time series forecasting model with deep learning. Neurocomputing, 2019, vol. 396, pp. 302-313. doi:10.1016/j.neucom. 2018.12.084
23. Fan C., Ding C., Zheng J., Xiao L., Ai Z. Empirical mode decomposition based multi-objective deep belief network for short-term power load forecasting. Neurocomputing, 2020, vol. 388, pp. 110-123. doi:10.1016/j.neucom.2020.01.031
24. Junxiu L., Tiening S., Yuling L., Su Y., Yi C., Jia Z. An echo state network architecture based on quantum logic gate and its optimization. Neurocomputing, 2020, vol. 371, pp. 100107. doi:10.1016/j.neucom.2019.09.002
25. Haitao L. Research on prediction of traffic flow based on dynamic fuzzy neural networks. Neural Computing & Applications, 2016, vol. 27, pp. 1969-1980. doi:10.1007/s00521-015-1991-z
26. Osipov V. Y. The associative intelligent machine. Journal of Information Technologies and Computing Systems, 2010, no. 2, pp. 59-67 (In Russian).
27. Osipov V. Yu., Osipova M. V. Sposob i ustroystvo intellektu-alnoy obrabotki informatsii v neyronnoy seti [Method and device of intellectual processing of information in neural network]. Patent RU 2413304 С1, 2011.
28. Osipov V. Yu. Neural network prediction of event for intelligent robots. Mechatronics, Automation, Control, 2015, no. 12, pp. 836-840 (In Russian).
29. Osipov V. Yu. Recurrent neural network with a spiral structure of layers. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2012, no. 6, pp. 2-32 (In Russian).
30. Osipov V. Y., Nikiforov V. V. Recurrent neural networks with controlled elements in restoring frame flows. Infor-matsionno-upravliaiushchie sistemy [Information and Control Systems], 2019, no. 5, pp. 10-17 (In Russian). doi:10. 31799/1684-8853-2019-5-10-17
31. Osipov V., Osipova M. Space-time signal binding in recurrent neural networks with controlled elements. Neurocomputing, 2018, vol. 308, pp. 194-204. doi:10.1016/j.neucom. 2018.05.009
32. Osipov V., Nikiforov V., Zhukova N., Miloserdov D. Urban traffic flows forecasting by recurrent neural networks with spiral structures of layers. Neural Computing and Applications, 2020. doi:10.1007/s00521-020-04843-5
33. Available at: http://www.d.umn.edu/~tkwon/TMCdata/ TMCarchive.html (accessed 17 December 2019).
