CC BY
32
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ /
удк 004.8 Научные статьи
doi:10.31799/1684-8853-2019-5-10-17 Articles
Возможности рекуррентных нейронных сетей с управляемыми элементами по восстановлению потоков кадров
В. Ю. Осиповa, доктор техн. наук, профессор, orcid.org/0000-0001-5905-4415, osipov_vasiliy@mail.ru В. В. Никифоровa, доктор техн. наук, профессор, orcid.org/0000-0002-6836-6303 аСанкт-Петербургский институт информатики и автоматизации РАН, 14-я линия В. О., 39, Санкт-Петербург, 199178, РФ
Постановка проблемы: в условиях различных мешающих воздействий остро стоят вопросы оперативного восстановления потоков искаженных кадров. При этом требуется учитывать предысторию и динамику законов измерения событий. Традиционные методы восстановления потоков искаженных кадров не в полной мере учитывают особенности этого процесса. Цель: исследование возможностей рекуррентных нейронных сетей с управляемыми элементами по восстановлению потоков кадров. Результаты: предложено оценивать потенциал рекуррентных нейронных сетей с управляемыми элементами по числу успешных вариантов восстановления искаженной последовательности кадров. Оценка возможностей этих нейронных сетей по введенному показателю продемонстрировала высокую их зависимость от вида структуры сетей и параметров настройки. В лучшую сторону отличаются рекуррентные нейронные сети со спиральными структурами слоев. С увеличением числа витков спирали растут и возможности сетей. Повышение возможностей сетей по восстановлению потоков искаженных кадров осуществимо при переходе от униполярных к биполярным функциям весов синапсов нейронов. Существенное увеличение возможностей исследуемых нейронных сетей возможно за счет управления порогами возбуждения нейронов для реализации последовательного, а не параллельного устранения различных видов ошибок. В отличие от известных нейронных сетей рекуррентные нейронные сети с управляемыми элементами позволяют адаптироваться к изменениям законов, свойственных потокам кадров, реализовывать управляемую ассоциативную обработку сигналов. Проведенные эксперименты показали, что эти нейронные сети за счет ассоциативных связей могут учитывать глубокий текущий опыт обработки сигналов и успешно применяться для восстановления потоков искаженных кадров.
Ключевые слова — потоки искаженных кадров, восстановление, рекуррентная нейронная сеть, логическая структура, управление, оценка.
Для цитирования: Осипов В. Ю., Никифоров В. В. Возможности рекуррентных нейронных сетей с управляемыми элементами по восстановлению потоков кадров. Информационно-управляющие системы, 2019, № 5, с. 10-17. doi:10.31799/1684-8853-2019-5-10-17 For citation: Osipov V. Yu., Nikiforov V. V. Recurrent neural networks with controlled elements in restoring frame flows. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2019, no. 5, pp. 10-17 (In Russian). doi:10.31799/1684-8853-2019-5-10-17
Введение
Одной из актуальных задач обработки потоков кадров в условиях мешающих воздействий выступает восстановление их в неискаженной форме. От успешности ее решения во многом зависит качество получаемых потоков. Традиционные методы фильтрации не всегда обеспечивают желаемый результат в условиях высокой неопределенности событий [1-3]. Не в полной мере учитывается предыстория, изменение законов проявления событий, связи обрабатываемых сигналов. Большие надежды на повышение эффективности обработки потоков кадров связывают с применением ней-росетевых решений [4-6]. В интересах этого могут использоваться как рекуррентные, так и нейронные сети прямого распространения. Среди сетей прямого распространения для обработки потоков кадров нашли широкое применение двухмерные и трехмерные сверточные нейронные сети [4, 7-11]. Эти сети после глубокого обучения позволя-
ют успешно распознавать наблюдаемые объекты и динамические сцены. В ряде случаев путем обратных преобразований свернутых изображений удается воспроизводить также сворачиваемые кадры. Однако этим сетям не свойственно ассоциативное запоминание обрабатываемых сигналов и извлечение ими из памяти связанных сигналов. К рекуррентным нейронным сетям (РНС), применяемым для обработки потоков кадров, относятся: многослойный персептрон RMLP (Recurrent MultiLayer Perceptron), сеть Эльмана, сеть реального времени RTRN (Real Time Recurrent Network), сеть долгой краткосрочной памяти LSTM (Long Short-Term Memory), ассоциативные запоминающие устройства Хопфилда, Коско и др. [4]. Часть из них ориентирована на быструю, неглубокую обработку сигналов. Ассоциативные запоминающие устройства Хопфилда и Коско [12-17] позволяют осуществлять более глубокую обработку сигналов, но во многом не удовлетворяют требованиям реального времени. Сеть LSTM [18-20] хотя и обеспечи-
вает долгую краткосрочную память, но лишь для тех сигналов, на которых она обучена. Эта сеть не способна ассоциативно запоминать различные сигналы и адаптироваться под входные потоки.
Одним из перспективных решений для обработки потоков кадров может выступать применение РНС с управляемыми элементами [21-23]. На эти сети, помимо восстановления потоков искаженных кадров, могут возлагаться задачи их распознавания, ассоциативного запоминания и прогнозирования событий, управления динамическими процессами и др. В таких РНС возможна одноуровневая и многоуровневая управляемая ассоциативная обработка кадров [21]. Осуществимы не только поперечные, но и продольные свертки элементов, содержащихся в кадрах [23]. На каждом уровне представления допустима своя управляемая ассоциативная обработка свернутых динамических сигналов. Успешность решения многих задач самой ассоциативной обработки сигналов на различных уровнях представления во многом зависит от возможностей РНС по восстановлению искаженных кадров. Однако потенциальные возможности РНС с управляемыми элементами по решению этой задачи остаются во многом не исследованными. Они лишь частично затронуты в работах [21, 22]. Для раскрытия потенциала этих РНС предусматривается уточнить их особенности и разработать метод оценки возможностей, получить и проанализировать результаты по восстановлению ими потоков искаженных кадров, сформулировать рекомендации по совершенствованию этих сетей.
Особенности РНС с управляемыми элементами
В соответствии со схемой РНС с управляемыми элементам (рис. 1) на ее вход подаются сигналы, предварительно разложенные на пространственно-частотные составляющие. При этом каждая составляющая преобразована в последовательность единичных импульсов (образов). Частота и фаза следования образов являются функциями от амплитуды и фазы составляющей. Рассматривая этот процесс в дискретном времени, можно считать, что на вход сети подаются кадры единичных образов — последовательности совокупностей единичных образов (СЕО), несущие всю информацию о входных сигналах.
На выходе сети обработанные последовательности СЕО могут преобразовываться в соответствующие им исходные сигналы. В этой РНС каждый нейрон одного слоя в общем случае связан со всеми нейронами другого слоя. Связи между нейронами одного и того же слоя отсутствуют. Нейроны могут находиться в трех состояниях: ожидание, возбуждение и невосприимчивость (рефрактерность) после
Выход
■ Рис. 1. Схема рекуррентной нейронной сети с управляемыми элементами
■ Fig. 1. Scheme of recurrent neural network with controlled elements
возбуждения. Время задержки импульсов (образов) в образуемых двухслойных контурах меньше времени рефрактерности нейронов. При возбуждении каждого нейрона сгенерированный импульс после единичной задержки подается на синапсы, связывающие его с другими нейронами. Каждый импульс при прохождении через синапс снимает с него информацию о предыдущих воздействиях и оставляет след о своем появлении. Веса (проводимости) синапсов определяются как [21]
(г) = кц (г)-Р£у (гц(г)) -Цц (гц (г)),
I yv I] v
где — весовой коэффициент синапса, связывающего 1-й нейрон одного слоя с '-м нейроном другого слоя (размерность этого коэффициента 1/0, значения весовых коэффициентов зависят от результатов взаимодействия нейронов); Р'г'*)), Цу(гу({)) — безразмерные функции ослабления расходящихся и сходящихся единичных образов соответственно; гу(Ь) — расстояние между взаимодействующими нейронами, в общем случае зависящее от времени.
Заряд, переносимый от возбужденного ¿-го нейрона на вход принимающего '-го нейрона за время т:
X
Чц (т) = | щ (г) - (1 - щ (г) / щ (г)) - т ц (г^г,
где и() — потенциал на выходе ¿-го возбужденного нейрона; и^) — потенциал на входе у'-го принимающего нейрона. Каждый у'-й нейрон перехо-
0
дит в состояние возбуждения, если суммарный заряд QE^(т), накапливаемый на его входе, равен или превышает порог Q0 возбуждения:
N
Qzj ww ^ Qo,
где N — число нейронов в передающем слое.
За счет реализации в РНС пространственных сдвигов сигналов при передаче их от слоя к слою сети могут наделяться линейными, спиральными, петлевыми и другими логическими структурами [21]. Посредством сдвигов обрабатываемые в РНС СЕО продвигаются вдоль слоев к выходу по предусмотренной схеме, ассоциируются друг с другом, запоминаются на элементах сети и вызывают связанные с ними сигналы. При этом недостающие сигналы могут восстанавливаться, а ложные сигналы за счет тормозящих воздействий — подавляться. Простой пример структуры РНС со спиральной схемой продвижения СЕО вдоль слоев приведен на рис. 2.
При многоуровневой обработке сигналов в РНС с управляемыми элементами их слои могут наделяться структурами в виде нескольких взаимосвязанных сигнальных систем [21]. Кроме этого, логические поля слоев сети могут разделяться на подполя с различными характеристиками нейронов и связей между ними.
Ставится задача определить без потери общности возможности одноуровневых РНС с управ-
Входные СЕО
Выходные СЕО
■ Рис. 2. Структура РНС со спиральной схемой продвижения совокупностей единичных образов вдоль слоев: 1 — линии разбивки слоев на логические поля за счет пространственных сдвигов СЕО при передаче от слоя к слою; 2 — направления продвижения СЕО вдоль слоев; 3 — нейроны; 4 — направления передачи СЕО между слоями
■ Fig. 2. Structure of RNN with spiral advancement scheme of the single images sets (SSI) of along the network layers: 1 — the lines of splitting the layers into logical fields due to spatial shifts of the SSI during transmission from layer to layer; 2 — direction of SSI advancement along the layers; 3 — neurons; 4 — directions of SSI transmission between the layers
ляемыми элементами по восстановлению обрабатываемых потоков кадров в зависимости от вида и размера логических структур этих сетей, а также от их циклов обучения, порогов возбуждения нейронов и масштабов расстояний между ними.
Метод оценивания возможностей РНС
Для решения этой задачи необходимо наличие обучающей последовательности эталонных кадров и последовательности искаженных совокупностей единичных образов, содержащих пропуски и ложные элементы. Реализация L циклов обучения предусматривает обработку сетью L одинаковых последовательностей эталонных кадров. Как обучение, так и оценку конкретных возможностей сети по восстановлению потоков искаженных кадров предлагается осуществлять на множестве допустимых вариантов порогов возбуждения нейронов и масштабов расстояний между ними.
С учетом этого предлагаемый метод оценивания возможностей РНС по восстановлению искаженных потоков кадров можно свести к следующей совокупности правил.
Шаг 1. Задание:
— исходного числа циклов обучения, L = 1;
— минимального значения порога Thr возбуждения нейронов и величины Д его приращения, Thr = Thr0;
— минимального значения величины масштаба а расстояний между нейронами и величины d его приращения, а = а0;
— исходного числа успешных вариантов восстановления искаженной последовательности кадров, W(L) = 0.
Шаг 2. Проведение L циклов обучения РНС с заданными значениями параметров Thr и а. Обработка РНС последовательности искаженных кадров. Проверка успешности восстановления искаженной последовательности, определение значения булевой функции 5. При успешном восстановлении, когда 5 = 1, W(L) = W(L) + 1.
Шаг 3. а = а + d. Если а < атах + d, то переход к шагу 2.
Шаг 4. а = а0. Пг = Пг + Д. Если Пг <
< Thrmax + Д, то переход к шагу 2.
Шаг 5. Пг = Пг0. L = L + 1. W(L) = 0. Если L <
< Lmax + 1, то переход к шагу 2.
Шаг 6. Построение графика зависимости W(L).
Реализация этих правил позволяет определять число успешных вариантов восстановления искаженной последовательности кадров при L циклах обучения РНС:
£ К
Ж(Ь) = £ X 5гк (ТНтг, ак, Ь),
г=\к=1
3
4
где 5гк(ТНгг, ак, Ь) — булева функция успешного восстановления последовательности искаженных кадров; 2 = (ТЛгшах - ТЛг0)/Д; К = (атах -
- a0)/d. Заметим, что значение dzk(Thrz,
Kk>
L)
определяется путем проведения испытании на конкретной модели рекуррентной неИронноИ сети для различных сочетаний значений а и ТНг. В результате таких испытаний для каждого значения Ь формируется своя диаграмма 52к(ТНг2, ак, Ь) в зависимости от значений а и ТНг. Пример такой диаграммы приведен на рис. 3.
При большом числе вариантов значений а, ТНг и Ь задача построения графика зависимости W(L) с использованием полного перебора вариантов обладает высокой вычислительной сложностью. Однако есть возможность существенно снизить сложность этой задачи, если отсекать заранее неперспективные варианты. В частности, отсечение этих вариантов осуществимо путем введения в рассмотренную выше систему правил дополнительных условий. Если на предыдущем шаге поиска 5 = 1, а на текущем шаге при а = а + й величина 5 равна нулю, то нет необходимости исследовать и другие варианты для а при фиксированных значениях ТНг и Ь. Когда на очередном шаге при фиксированном а и изменяемом ТНг величина 5 = 1, а на следующем шаге для ТНг = ТНг + Д величина 5 = 0, то все последующие
варианты для a = const и увеличивающегося Thr бесперспективны.
Помимо этих дополнительных условий, возможны и другие правила, позволяющие снизить сложность решаемой задачи.
Результаты моделирования
С использованием предложенного метода определения возможностей РНС с управляемыми элементами по восстановлению искаженных последовательностей кадров проводилось имитационное моделирование. Исследовались возможности РНС с линейными и спиральными структурами слоев. Характеристики исследованных РНС приведены в таблице, где приняты обозначения: У — униполярная; Б — биполярная. В качестве обучающей последовательности кадров выступала последовательность, состоящая из четырех сдвинутых по времени совокупностей единичных образов, составляющих слово «С Е Т Ь».
Введение кадров в РНС осуществлялось на каждом четвертом шаге работы сети, так что после поступления последнего кадра обучающей последовательности в РНС с линейной структурой состояние первого слоя представлялось в виде рис. 4. Возбужденные нейроны отражены за-
■ Характеристики исследованных рекуррентных нейронных сетей с управляемыми элементами
■ Characteristics of investigated recurrent neural networks with controlled elements
Thr
■ Рис. 3. Диаграмма успешных вариантов восстановления РНС искаженной последовательности кадров: 1 — варианты с ложными элементами; 2 — варианты, содержащие пропуски единичных элементов; 3 — варианты успешного восстановления последовательностей кадров
■ Fig. 3. The diagram of sessions with successful restoring of distorted frame sequence: 1 - sessions with superfluous resulting elements; 2 — sessions with missing resulting elements; 3 — sessions with successful restoring of distorted frame sequence
Вид структуры РНС Число нейронов в каждом слое Длина строки, в логических полях Число строк, в логических полях Размер логических полей, в нейронах Вид функции веса синапсов
Линейная 240 8 1 30 У
480 16 1 30 У
Спиральная полувитко-вая 240 4 2 30 У
360 6 2 30 У
480 8 2 30 У
Б
540 9 2 30 У
600 10 2 30 У
Спиральная одновитко-вая 720 8 3 30 У
Спиральная полутора-витковая 960 8 4 30 У
1
3
2
oootoo oooeoo OOOtl# ooo»o» ООО««* ooooo 00000 ooooo ooooo ooooo ooooo oo«««o ooo«oo 000*00 ooo«oo ooo«oo ooooo ooooo ooooo ooooo ooooo ooooo o*««oo o«oooo О*« ООО o*oooo o*«*oo ooooo ooooo ooooo ooooo ooooo ooooo •••ООО •ooooo •ooooo •ooooo •••ООО ooooo ooooo ooooo ooooo ooooo ooooo
■ Рис. 4. Состояния первого слоя РНС с линейной структурой после введения в сеть обучающей последовательности
■ Fig 4. The state of the first layer of RNN with linear structure after entering the learning sequence
темненными элементами. Искаженные кадры, вводимые в РНС, отличались от эталонных наличием в них ложных элементов и частичным отсутствием истинных единичных образов.
Сравнение возможностей РНС со спиральной полувитковой и линейной структурами (рис. 5) по восстановлению последовательностей искаженных кадров показало существенные преимущества первой.
Согласно рис. 5, кривая 1 зависимости W(L) успешных вариантов восстановления искаженной последовательности РНС со спиральной полу-витковой структурой слоев проходит существенно выше кривой 2 для РНС с линейной структурой. Снижение показателя W(L), после его роста, с увеличением циклов обучения обусловлено несбалансированностью эффектов активации и торможения нейронов в сети при использовании униполярных функций весов синапсов. При такой несбалансированности после восстановления отсутствующих единичных элементов в обрабатываемых кадрах с ростом числа циклов обучения увеличиваются ассоциативные вызовы более слабых связанных сигналов.
Установлено, что с увеличением числа витков в структуре слоев РНС возможности восстановления искаженных последовательностей кадров
W(L) 9080706050403020100-
L
■ Рис. 5. Возможности РНС с линейной и спиральной структурами слоев по восстановлению искаженных потоков кадров: 1 — для спиральной полувитковой структуры; 2 — для линейной структуры
■ Fig. 5. The capabilities of RNNs with linear and spiral structures in restoring of distorted frame sequence: 1 — for the spiral half coil structure; 2 — for the linear structure
растут (рис. 6). Увеличение же длины линейных структур РНС такого эффекта практически не дает.
Результаты моделирования показали также, что использование в качестве ю-- биполярной «Б» функции веса синапсов (см. таблицу) позволяет получить выигрыш над униполярным «У» вариантом ю--(рис. 7).
Кроме этого, исследовались возможности восстановления потоков кадров при наличии только ложных единичных образов и только ошибок в виде отсутствия части полезных образов. Результаты такого восстановления показали (рис. 8), что, ориентируясь на раздельное устранение различных видов ошибок, даже при униполярной функции весов синапсов можно существенно повысить эффективность обработки искаженных последовательностей кадров. В данном случае число успешных вариантов восстанов-
W(L) 140 -, 120 -
100 - л -А\2 80- / 1' / \ 60- I —I-----
40- ¡J--------- —
20 - /—V—
0- , , ,!,/,.......
1 3 5 7 9 11 L
■ Рис. 6. Возможности РНС со спиральными структурами слоев: 1 — для одновитковой структуры; 2 — для сети с полуторавитковой структурой
■ Fig. 6. The capabilities of RNNs with spiral layer structures: 1 — for the single coil structure; 2 — one-and-half coil structure
W(L) 140-,
120- Ki 100- \
80" у-^^ту^г^
60- / —-----------— ------и 2
40- // 20" '
0l J..............
1 3 5 7 9 11 13 15 L
■ Рис. 7. Зависимости W(L) для РНС с полувитковы-ми структурами слоев при биполярной и униполярной функциях весов синапсов: 1 — биполярная; 2 — униполярная
■ Fig. 7. Dependences W(L) for RNNs with half coil structures of layers with bipolar and unipolar functions of synaptic weights: 1 — bipolar; 2 — unipolar
/ \
/ / s \ / / \ 2 \ /
1 / / \ \
/ /
/ /
/ /
1 3 5 7 9 11
Л
/ 1 v
\
/ / 4 __ - - -
/ I / 2
1 3 5 7 9 11 13 15
W(L) 140-|
120_ г/Ч 100- / \_^ :
80- /
iZV-------
: ./тгтттт".
1 3 5 7 L
■ Рис. 8. Результаты раздельного устранения различных видов ошибок в потоках кадров: 1 — устранение пропусков единичных элементов; 2 — устранение ложных элементов
■ Fig. 8. Results of separate elimination of various types of errors in frame flows: 1 — elimination of the single elements misses; 2 — elimination of false elements
ления искаженной последовательности потенциально может быть равным сумме полученных раздельных результатов. Раздельное устранение различных видов ошибок позволяет ликвидировать существующее противоречие, свойственное нейросетевой обработке сигналов. Согласно ему ошибки в виде ложных сигналов легко устраняются при высоких порогах возбуждения нейронов. Однако дефекты в виде пропусков сигналов успешно исправляются при низких порогах. При понижении этих порогов усиливаются возможности ассоциативного вызова из памяти сети запомненных сигналов, связанных с вызывающими воздействиями. Заметим, что в рассматриваемом случае РНС может функционировать более устойчиво, обеспечивая с увеличением числа циклов обучения и порога возбуждения нейронов некоторое стабильное значение W(L).
Для реализации такого раздельного устранения возможных ошибок и повышения эффективности восстановления РНС потоков искаженных кадров рекомендуется управлять порогами возбуждения нейронов сети. Вначале, за счет по-
1. Davies E. R. Computer Vision: Principles, Algorithms, Applications, Learning. Fifth Ed. Academic Press, 2017. 900 p.
2. Wei X., Yang Q., Cong Y. Joint contour filtering. Journal of Computer Vision, 2018, no. 126, pp. 12451265. doi:10.1007/s11263-018-1091-5
3. Zhang Z., Xu Y., Yang J., Li X., & Zhang D. A survey of sparse representation: algorithms and applications. IEEE Access, 2015, no. 3, pp. 490-530. doi:10.1109/ACCESS.2015.2430359
вышенных порогов, можно устранять ложные сигналы, а затем восстанавливать пропущенные элементы, ограничиваясь предельно допустимыми минимальными значениями порогов возбуждения нейронов и уровнем загрузки сети.
Заключение
Оценка возможностей рекуррентных нейронных сетей с управляемыми элементами по восстановлению потоков искаженных кадров показала высокую их зависимость от вида структуры этих сетей и параметров настройки. В лучшую сторону отличаются РНС со спиральными структурами слоев. При этом с увеличением числа витков спирали растут и возможности РНС. Повышение возможностей РНС по восстановлению потоков искаженных кадров осуществимо при переходе от униполярных к биполярным функциям весов синапсов нейронов. Кроме этого, существенное увеличение возможностей исследуемых РНС возможно за счет управления порогами возбуждения нейронов для реализации последовательного, а не параллельного устранения различных видов ошибок. В отличие от известных нейронных сетей рекуррентные нейронные сети с управляемыми элементами позволяют адаптироваться к изменениям законов, свойственных потокам кадров, реализовывать управляемую ассоциативную обработку сигналов. Проведенные эксперименты показали, что эти РНС могут учитывать за счет ассоциативных связей глубокий текущий опыт обработки сигналов и успешно применяться для восстановления потоков искаженных кадров. Для выполнения имитационного моделирования больших и сверхбольших РНС с управляемыми элементами в настоящее время можно использовать серверы с графическими процессорами. Для малогабаритного и эффективного в части потребляемой энергии исполнения сверхбольших РНС применимы современные мемристивные технологии.
4. Haykin S. Neural Networks and Learning Machines. Third Ed. New-York, Prentice Hall, 2008. 938 p.
5. Zennaro F. M., Chen K. Towards understanding sparse filtering. A theoretical perspective. Neural Networks, 2018, no. 98, pp. 154-177. doi:10.1016/j.ne-unet.2017.11.010
6. Bruce N. D., Rahman S., & Carrier D. Sparse coding in early visual representation: from specific properties to general principles. Neurocomputing, 2016, no. 171, pp. 1085-1098. doi:10.1016/j.neucom.2015.07.070
7. Wang Y., Luo B., Shen J., Pantic M. Face mask extraction in video sequence. International Journal of
/ \
1 / / \ \
I / \
/
/ 2 / \ \
/ /
/
13 5 7
Computer Vision, 2018, Nov, pp. 1-17. doi:10.1007/ s11263-018-1130-2
8. Wang H., Shen Y., Wang S., Xiao T., Deng L., Wang X., Zhao X. Ensemble of 3D densely connected convolu-tional network for diagnosis of mild cognitive impairment and Alzheimer's disease. Neurocomputing, 2019, no. 333, pp. 145-156. doi:10.1016/j.neucom. 2018.12.018
9. Wang R. Edge detection using convolutional neural network. Advances in neural networks: Proc. of the 13th International Symposium on Neural Networks, ISNN 2016, Saint-Petersburg, Russia, July 6-8, 2016, LNCS, 2016, no. 9719, pp. 12-20. doi:10.1007/ 978-3-319-40663-3_2
10. Vasamsetti S., Mittal N., Neelapu B. C., Sardana H. K. 3D local spatio-temporal ternary patterns for moving object detection in complex scenes. Cognitive Computation, 2019, no. 11, pp. 18-30. doi:10.1007/s12559-018-9594-5
11. Badrinarayanan V., Kendall A., & Cipolla R. Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, no. 39(12), pp. 2481-2495. doi:10.1109/TPAMI.2016. 2644615
12. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities. Proc. of the National Academy of Science, USA, 1982, no. 79, pp. 2554-2558.
13. Kosco B. Bidirectional associative memories. IEEE Transactions on Systems, Man, and Cybernetics, 1988, no. 18(1), pp. 49-60.
14. Liu J., Gong M., He H. Deep associative neural network for associative memory based on unsupervised representation learning. Neural Networks, 2019, no. 113, pp. 41-53. doi:10.1016/j.neunet.2019.01.004
15. Erick Cabrera E., Sossa H. Generating exponentially stable states for a Hopfield neural network. Neuro-
computing, 2018, no. 275, pp. 358-365. doi:10.1016/j. neucom.2017.08.032
16. Sha C., Zhao H. Design and analysis of associative memories based on external inputs of continuous bidirectional associative networks. Neurocomputing, 2017, no. 266, pp. 433-444. doi:10.1016/j.neucom. 2017.05.056
17. Mizraji E., Lin J. Modeling spatial-temporal operations with context-dependent associative memories. Cognitive Neurodynamics, 2015, vol. 9, iss. 5, pp. 523534. doi:10.1007/s11571-015-9343-3
18. Yang B., Sun S., Li J., Lin X., Tian Y. Traffic flow prediction using LSTM with feature enhancement. Neurocomputing, 2019, no. 332, pp. 320-327. doi:10.1016/j.neucom.2018.12.016
19. Yu Z., Liu G., Liu Q., Deng J. Spatio-temporal convo-lutional features with nested LSTM for facial expression recognition. Neurocomputing, 2018, no. 317, pp. 50-57. doi:10.1016/j.neucom.2018.07.028
20. Liu G., Guo J. Bidirectional LSTM with attention mechanism and convolutional layer for text classification. Neurocomputing, 2019, no. 337, pp. 325-338. doi:10.1016/j.neucom.2019.01.078
21. Osipov V., Osipova M. Space-time signal binding in recurrent neural networks with controlled elements. Neurocomputing, 2018, no. 308, pp. 194-204. doi:10. 1016/j.neucom.2018.05.009
22. Osipov V., Nikiforov V. Functional and structural features of recurrent neural networks with controlled elements. Advances in Neural Networks — ISNN 2019: Proceedings of the 16th International Symposium on Neural Networks, ISNN 2019, Moscow, Russia, July 10-12, 2019, Part I, Springer, 2019, pp. 133-140.
23. Osipov V. Structure and basic functions of cognitive neural network machine. MATEC Web of Conferences, 2017, no. 02011, p. 113. doi:10.1051/matecconf/ 201711302011
UDC 004.8
doi:10.31799/1684-8853-2019-5-10-17
Recurrent neural networks with controlled elements in restoring frame flows
V. Yu. Osipova, Dr. Sc., Tech., Professor, orcid.org/0000-0001-5905-4415, osipov_vasiliy@mail.ru V. V. Nikiforova, Dr. Sc., Tech., Professor, orcid.org/0000-0002-6836-6303
aSaint-Petersburg Institute for Informatics and Automation of the RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation
Introduction: Various interfering influences raise pressing problems of promptly restoring the flow of distorted frames, remembering about the background and dynamics of the event measurement laws. The traditional methods of recovering flows of distorted frames do not fully take into account the peculiarities of this process. Purpose: Exploring the possibilities of recurrent neural networks with controlled elements for restoring frame flows. Results: It is proposed to evaluate the potential of a recurrent neural network with controlled elements by the number of successful options for restoring a distorted sequence of frames. Evaluation of the capabilities of such neural networks according to the introduced indicator showed their strong dependence on the type of network structure and settings. Recurrent neural networks with spiral structures of layers work better. As the number of the turns in the helix grows, the network capabilities also grow. Enhancing the capacity of a network to restore distorted frame flows is feasible if we replace unipolar functions of the synapse weights by bipolar ones. A significant increase in the capabilities of the neural networks under study is possible by controlling the neuron excitation thresholds in order to provide sequential rather than parallel elimination of various errors. In contrast to the conventional neural networks, recurrent neural networks with controlled elements can adapt to changes in
the laws inherent in frame flows, and implement controlled associative signal processing. Experiments have shown that these neural networks can use associative connections for taking into account deep current experience in signal processing, and be successfully used for restoring distorted frame flows.
Keywords — distorted frame flow, recovery, recurrent neural network, logical structure, control, evaluation.
For citation: Osipov V. Yu., Nikiforov V. V. Recurrent neural networks with controlled elements in restoring frame flows. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2019, no. 5, pp. 10-17 (In Russian). doi:10.31799/1684-8853-2019-5-10-17
References
1. Davies E. R. Computer Vision: Principles, Algorithms, Applications, Learning. Fifth Ed. Academic Press, 2017. 900 p.
2. Wei X., Yang Q., Cong Y. Joint Contour Filtering. Journal of Computer Vision, 2018, no. 126, pp. 1245-1265. doi:10. 1007/s11263-018-1091-5
3. Zhang Z., Xu Y., Yang J., Li X., & Zhang D. A survey of sparse representation: algorithms and applications. Access, IEEE, 2015, no. 3, pp. 490-530. doi:10.1109/ACCESS. 2015.2430359
4. Haykin S. Neural Networks and Learning Machines. Third Ed. New-York, Prentice Hall, 2008. 938 p.
5. Zennaro F. M., Chen K. Towards understanding sparse filtering. A theoretical perspective. Neural Networks, 2018, no. 98, pp. 154-177. doi:10.1016/j.neunet.2017.11.010
6. Bruce N. D., Rahman S., & Carrier D. Sparse coding in early visual representation: from specific properties to general principles. Neurocomputing, 2016, no. 171, pp. 1085-1098. doi:10.1016/j.neucom.2015.07.070
7. Wang Y., Luo B., Shen J., Pantic M. Face mask extraction in video sequence. International Journal of Computer Vision, 2018, Nov, pp. 1-17. doi:10.1007/s11263-018-1130-2
8. Wang H., Shen Y., Wang S., Xiao T., Deng L., Wang X., Zhao X. Ensemble of 3D densely connected convolutional network for diagnosis of mild cognitive impairment and Alzheimer's disease. Neurocomputing, 2019, no. 333, pp. 145-156. doi:10.1016/j.neucom.2018.12.018
9. Wang R. Edge detection using convolutional neural network. Advances in neural networks: Proc. of the 13th International Symposium on Neural Networks, ISNN 2016, Saint-Petersburg, Russia, July 6-8, 2016, LNCS, 2016, no. 9719, pp. 12-20. doi:10.1007/978-3-319-40663-3_2
10. Vasamsetti S., Mittal N., Neelapu B. C., Sardana H. K. 3D local spatio-temporal ternary patterns for moving object detection in complex scenes. Cognitive Computation, 2019, no. 11, pp. 18-30. doi:10.1007/s12559-018-9594-5
11. Badrinarayanan V., Kendall A., & Cipolla R. Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, no. 39(12), pp. 2481-2495. doi:10.1109/TPAMI.2016.2644615
12. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities. Proc. of the National Academy of Science, USA, 1982, no. 79, pp. 25542558.
13. Kosco B. Bidirectional associative memories. IEEE Transactions on Systems, Man, and Cybernetics, 1988, no. 18(1), pp. 49-60.
14. Liu J., Gong M., He H. Deep associative neural network for associative memory based on unsupervised representation learning. Neural Networks, 2019, no. 113, pp. 41-53. doi:10. 1016/j.neunet.2019.01.004
15. Erick Cabrera E., Sossa H. Generating exponentially stable states for a Hopfield neural network. Neurocomputing, 2018, no. 275, pp. 358-365. doi:10.1016/j.neucom. 2017.08.032
16. Sha C., Zhao H. Design and analysis of associative memories based on external inputs of continuous bidirectional associative networks. Neurocomputing, 2017, no. 266, pp. 433-444. doi:10.1016/j.neucom.2017.05.056
17. Mizraji E., Lin J. Modeling spatial-temporal operations with context-dependent associative memories. Cognitive Neurodynamics, 2015, vol. 9, iss. 5, pp. 523-534. doi:10. 1007/s11571-015-9343-3
18. Yang B., Sun S., Li J., Lin X., Tian Y. Traffic flow prediction using LSTM with feature enhancement. Neurocomputing, 2019, no. 332, pp. 320-327. doi:10.1016/j.neucom. 2018.12.016
19. Yu Z., Liu G., Liu Q., Deng J. Spatio-temporal convolutional features with nested LSTM for facial expression recognition. Neurocomputing, 2018, no. 317, pp. 50-57. doi:10.1016/ j.neucom.2018.07.028
20. Liu G., Guo J. Bidirectional LSTM with attention mechanism and convolutional layer for text classification. Neurocomputing, 2019, no. 337, pp. 325-338. doi:10.1016/j.neu-com.2019.01.078
21. Osipov V., Osipova M. Space-time signal binding in recurrent neural networks with controlled elements. Neurocomputing, 2018, no. 308, pp. 194-204. doi:10.1016/j.neucom. 2018.05.009
22. Osipov V., Nikiforov V. Functional and structural features of recurrent neural networks with controlled elements. Proceedings of the 16th International Symposium on Neural Networks "Advances in Neural Networks — ISNN 2019", Moscow, Russia, July 10-12, 2019, Part I, Springer, 2019, pp. 133-140.
23. Osipov V. Structure and basic functions of cognitive neural network machine. MATEC Web of Conferences, 2017, no. 02011, p. 113. doi:10.1051/matecconf/201711302011
