CC BY
27
УДК 004.93'12
Вестник СибГАУ Том 17, № 2. С. 302-308
НЕЙРОДИНАМИЧЕСКОЕ ДИАГНОСТИРОВАНИЕ СОСТОЯНИЯ В УСЛОВИЯХ ПОДГОТОВКИ И ПРОВЕДЕНИЯ КОСМИЧЕСКИХ ПОЛЕТОВ
О. М. Гергет*, Д. В. Девятых
Национальный исследовательский Томский политехнический университет Российская Федерация, 634050, г. Томск, просп. Ленина, 30 E-mail: gerget@tpu.ru
Актуальность работы обусловлена необходимостью разработки нейродинамических алгоритмов оценки состояния человека в условиях подготовки или проведения космических полетов.
Цель исследования заключается в анализе эффективности нейросетевого подхода для анализа временных сигналов, характеризующих состояние здоровья.
Исследовались динамические искусственные нейронные сети трех типов: с фокусированной задержкой по времени; с распределенной задержкой по времени; нелинейные авторегрессионные модели с внешними входами; с использованием программного продукта Matlab Neural Network Toolbox 2014a. В качестве входных данных, на которых обучались нейронные сети, использовалось 39 полисомнографических записей длительностью от 8 часов и дольше. База данных, содержащая временные ряды, представляющие собой записи воздушного потока с частотой 11 Гц, предоставлена для исследования третьей городской больницей г. Томска.
В результате был проведен процесс обучения и тестирования для различных типов динамических нейронных сетей. Сравнительный анализ результатов точности, полученных при работе как с обучающей, так и с тестовой выборками, позволил сделать вывод о том, что наиболее эффективное нейросетевое решение должно основываться на архитектуре нелинейной авторегрессии с внешними входами.
Ключевые слова: динамические нейронные сети, задержка сигнала, обратные связи, машинное обучение, космическая медицина.
Sibirskii Gosudarstvennyi Aerokosmicheskii Universitet imeni Akademika M. F. Reshetneva. Vestnik Vol. 17, No. 2, P. 302-308
NEURODYNAMIC HEALTH DIAGNOSIS BEFORE, DURING AND FOLLOWING SPACE FLIGHTS
O. M. Gerget*, D. V. Devjatykh
National Research Tomsk Polytechnic University 30, Lenin Av., Tomsk, 634050, Russian Federation E-mail: gerget@tpu.ru
The urgency is based on need developing algorithms for detecting health state of an astronaut.
The main aim of the study lies in developing neural network model for breathing that will allow recognition of breath patterns and predicting anomalies that may occur.
Class of machine learning algorithms includes many models, widespread feed forward networks are able to solve task of classification, but are not quite suitable for processing time-series data. The paper describes results of teaching and testing several types of dynamic or recurrent networks: NARX, Elman, distributed and focused time delay.
The methods used in the study include machine learning algorithms, dynamic neural network architectures, focused time-delay network, distributed time-delay network, non-linear autoregressive exogenous model. Networks were built using Matlab Neural Network Toolbox 2014a software. For the purpose of research we used dataset that contained 39 polysomnographic recording. Records were obtained by pulmonology department of Third Tomsk City Hospital; on average recording were 8-10 hours long and included electrocardiography and oronasal airflow. Frequency of these signals was 11 Hz.
The results include comparison of training and testing performances for various types of dynamic neural networks. According to classification accuracy obtained for learning and testing set of data, the most accurate results were achieved by non-linear autoregressive exogenous model.
Keywords: obstructive sleep apnea, dynamic neural networks, tap delay lines, feedback connections, machine learning, space medicine.
Введение. В список задач космической медицины входит тщательное обследование космонавтов как для допуска к полету, так и во время его проведения. Актуальным направлением исследований в космической медицине является создание автоматизированных средств принятия решений в задачах диагностики. Существует множество временных сигналов, которые характеризуют состояние человека. Отклонения от нормального режима функционирования могут выражаться в кривых дыхания во время сна. Для обнаружения отклонений требуется присутствие медицинского эксперта, деятельность которого заключалась бы в анализе отрезков кривой дыхания в течение длительного интервала времени.
Патофизиологическая оценка предлагает следующую классификацию нарушений дыхания во время сна: апноэ и гипоапноэ [1; 2]. В соответствии с международной классификацией расстройств сна апноэ определяется как эпизод полного отсутствия дыхательного потока на протяжении 10 с, насыщение крови кислородом при этом снижается на 4 % или более. Гипоапноэ также рассматривается как снижение воздушного потока более чем на половину от исходного в течение не менее 10 с, насыщение крови кислородом изменяется на 4 %.
Существует общепризнанный стандарт исследования нарушений сна - полисомнография [3], при которой осуществляется длительная запись функций организма: насыщение крови кислородом, величина воздушного потока у носа и рта, электроэнцефалограмма и др. Анализ полисомнографических записей позволяет вычислить значение индекса апноэ-гипоапноэ (ИАГ) - частоты приступов за 1 час сна, который позволяет судить о течении дыхательного процесса.
Нейросетевой подход позволит автономно выполнять процесс поиска эпизодов обструктивного апноэ в реальном времени, что может существенно повысить качество медицинской диагностики как на Земле, так и во время космического полета.
Ранняя и правильная классификация эпизодов апноэ является важным элементом в разработке стратегии и планировании лечения этого синдрома и принятия своевременных превентивных мер. Для решения задач классификации паттернов дыхания успешно применяются искусственные нейронные сети [4-6]. Однако в большинстве случаев в качестве архитектуры используются классические архитектуры, например, многослойный перцептрон, который, несмотря на применение эффективных методов обучения (Левенбрга-Марквардта, генетических алгоритмов, эластичного сопротивления), требует применения вспомогательных методов для формирования вектора признаков, например, кратномасштабного вейвлет-анализа [7; 8]. Без предварительной обработки многослойный перцептрон плохо справляется с задачей локализации эпизодов апноэ, независимо от количества слоев и количества скрытых нейронов [9]. Исходя из ограничений многослойных перцептронов, было принято решение использовать динамические нейронные сети, которые бы учитывали временную структуру значений воздушного потока у носа и рта и не были бы жестко привязаны к размерности входного вектора.
Архитектура динамических сетей. В основе любой архитектуры нейронной сети лежит идея моделирования механизма обработки информации, протекающего в биологических нервных клетках. Более того, динамические нейронные сети более правдоподобны с биологической точки зрения, так как обладают кратковременной формой памяти.
Начальный этап построения динамической рекуррентной сети мало чем отличается от создания известных статических моделей, таких как многослойный перцептрон.
Основным структурным элементом является модель биологической клетки - нейрон, представленный на рис. 1. Каждый нейрон характеризуется вектором весовых коэффициентов, скалярное произведение входного сигнала с которым (1) выступает в качестве аргумента активационной функции (2). Значение ак-тивационной функции является выходным сигналом нейрона.
Рис. 1. Модель искусственного нейрона
Функционирование нейрона описывается как
у=1
1
ф(у)=^"тг,
е +1
(1)
(2)
где мку - весовой коэффициент, соединяющий нейрон у слоя к; гк - индуцированное локальное поле нейрона; ф(у) - функция активации нейрона, в зависимости от типа которой определяется ограничение выхода нейрона. Например, представленная в формуле (2) активационная функция ограничивает выход нейрона значениями (-1;1).
Нейрон является структурной единицей для всех типов нейронных сетей; объединяя различным образом нейроны в слои, можно получать сети. Классическую многослойную сеть прямого распространения, представленную на рис. 2, можно классифицировать как статическую. Статическая сеть не учитывает временную структуру данных и не способна принимать на вход вектор, длина которого не равна количеству нейронов во входном слое.
Существенной частью процессов сети является время. Его можно представить в непрерывной или дискретной форме, но какую бы форму время не принимало, оно лежит в основе обработки сигналов. Встраивание времени в процесс работы нейросети может быть реализовано в неявном виде, при котором время оказывает косвенный эффект на обработку сигнала, т. е. оно не подается на вход нейронам сети. Неявное представление времени позволяет наделить статическую сеть свойством динамичности.
Чтобы сеть была динамической, она должна иметь память [10]. Существует долговременная и кратковременная память. Первый тип памяти представлен даже в многослойном перцептроне, он встраивается в сеть в процессе обучения, когда информативное содержание данных из обучающего множества сохраняется в сети в виде значений весовых коэффициентов [11].
Input Layer Hidden Layer Output Layer
Рис. 2. Многослойная сеть прямого распространения
Простейшая и наиболее распространенная форма кратковременной памяти реализуется в виде памяти на основе линии задержки с отводами. На рис. 3 показан нейрон со встроенной кратковременной памятью на основе линии задержки с отводами и статическая сеть. Входной сигнал состоит из текущего х(и) значения и хранимых в кратковременной памяти р предыдущих значений: х(п -1), х(п - 2), ..., х(п -р).
Вход
хШ
| * ' 1\ Внешнее
\ смешение
г~ \»,<0> Ь1
*л- 1)
i<„-2) Ж» - и + I)
Еще одним способом неявного представления времени в искусственной нейронной сети является использование обратных связей. Они могут присутствовать в сети в двух видах: в виде локальных связей, которые распространяются на нейрон; в виде глобальных, которые распространяются на всю сеть. В первом случае нейрон формирует свой конечный выходной сигнал с учетом выходных значений, полученных им же на предыдущих итерациях. Во втором случае нейрон может распространять влияние своих выходов на нейроны любого слоя.
Стоит отметить, что два описанных способа неявного встраивания времени в работу сети - линии задержки сигнала и обратные связи - могут быть применены совместно. Если в качестве основы для построения динамической сети использовать многослойную сеть прямого распространения, то применение обратных связей и линий задержек сигнала может принимать множество форм, особенно если учесть тот факт, что количество слоев и скрытых нейронов в перцептроне может принимать любые значения. Это порождает богатый спектр различных форм динамически управляемых рекуррентных сетей [11].
Такое множество потенциальных решений на основе динамических сетей, а также отсутствие каких бы то ни было методологических указаний по выбору количества слоев, скрытых нейронов в них, емкости памяти на основе линий задержек сигнала и количества обратных связей, серьёзно осложняет поиск оптимальной топологии [12]. Поиск наиболее точного решения задачи распознавания эпизодов апноэ у больных бронхиальной астмой проводился среди трех типов архитектур динамических сетей. Все они имели одинаковые методы обучения, активационные функции нейронов, а различия заключались в количестве нейронов и связях между ними.
Первой динамической сетью являлась сеть с фокусированной задержкой по времени, представленная на рис. 4. Она представляет собой многослойный пер-цептрон, к входному слою которого применяется задержка сигналов. Такая сеть мало чем отличается от классической сети прямого распространения, единственным ее преимуществом является то, что она не требует входного сигнала определенной длины, что, однако, является очень важным при обработке именно временных рядов.
Ьл>:.
ги .____'Х--л
□-- -* -.....—а:------у^УЛГ \
Рис. 4. Сеть с фокусированной задержкой по времени
Рис. 3. Нейрон с встроенной памятью на основе линии задержки
Для второй сети задержка по времени не была локальной, а распространялась по всей сети. Данный тип сети называется сетью с распределенной задержкой. Такая сеть характеризуется наличием обратных связей, которые соединяют нейроны скрытого слоя между собой. Можно сказать, что такая топология является гибридной между сетью с фокусированной задержкой по времени и сетью Хопфилда.
Третья сеть называется нелинейной авторегрессионной моделью с внешними входами. Как видно из рис. 5, сеть представляет собой многослойный пер-цептрон, к нейронам входного слоя которого были применены задержки сигнала, а нейроны выходного слоя через обратные связи замыкались на входном слое.
Рис. 5. Нелинейная авторегрессия с внешними входами
Представленные типы динамических рекуррентных сетей далеко не единственные в своем роде, они являются базовыми способами неявного встраивания времени в нейронную сеть. Исследуя приведенные типы сетей, можно сравнить эффективность памяти линии задержки с отводами, локальные и глобальные рекуррентные связи.
Обучение динамических сетей. Определившись с выбором архитектуры сетей, мы переходим к этапу обучения. Очевидный вопрос, который встает при выборе метода оптимизации весовых коэффициентов сети: возможно ли использовать те же методы, что применяются и для обучения статических сетей. Это возможно, если провести предварительное преобразование сети, которое заключается в том, чтобы развернуть динамическую сеть в более громоздкую статическую сеть [13]. На рис. 6 показан пример развертки динамической сети Элмана с одним входом и скрытым нейроном в статическую сеть, такой способ преобразования сети не вносит каких бы то ни было изменений в алгоритмы генерации выходных значений и служит, скорее, для удобного представления сети в вычислительных системах.
Как видно из рис. 6, динамическая сеть после преобразования в статическую имеет много общего с перцептроном. Алгоритмы обучения с учителем, основанные на обратном распространении ошибки, становятся применимы для динамической сети [14]. При такой развертке каждая обратная связь приводит
к появлению дополнительного скрытого слоя, т. е. чем больше обратных связей, тем больше скрытых слоев. Одно из направлений развития современных нейронных сетей связано с изучением многослойных перцептронов с большим количеством скрытых слоев. Такие сети в литературе называются «глубокими» [15]. Одной из главных проблем, с которыми сталкиваются исследователи при работе с такими сетями, является обращение градиентов в нуль [16]. В этом случае сеть, даже не попав в локальный минимум, перестает обучаться, так как согласно формулам изменения весов новые значения весовых коэффициентов изменяются слишком медленно. Это обусловливает требования к методу обучения, при котором изменение весового коэффициента, представленное как
Ам/^ (и) = ^5 - (п) у («Х (3)
не учитывает значение локального градиента 5- (и),
которое определяется как
5,(и) = е, (и)ф'. (V,- (Х^
(4)
где е- (и) - сигнал ошибки, т. е. разница между действительным и желаемым выходом нейрона; ^ - константа скорости обучения; и - эпоха обучения.
Скрытый нейрон
Выходной Выход
нейрон
О
у(п)
-о-
Выход Выходной
нейрон _у(?г + 1)
Рис. 6. Сеть Элмана: а - в виде динамической сети; б - в виде развернутой в статическую сеть
Для обучения глубоких сетей, а также динамических сетей, развернутых в статические, с успехом могут быть применены генетические методы [17] обучения либо метод эластичного сопротивления, также известный как алгоритм ИРгор [18]. Если генетический алгоритм во многом полагается на случайный поиск, является эвристическим, то эластичное сопротивление принадлежит к группе градиентных методов. В отличие от стандартного алгоритма градиентного спуска, ЯРгор использует только знаки частных производных для подстройки весовых коэффициентов. Алгоритм использует так называемое обучение по эпохам, когда коррекция весов происходит после предъявления сети всех примеров из обучающей выборки.
Правило коррекции алгоритма ИРгор определяется формулой
С") =
дБ(п) дБ(п -1)
дм>у дм>у
> 0,
дБ(п) дБ(п -1)
Л Аа С"),———--¿ < 0,
(5)
д^а дщ.
о < -л <1
дБ
где -— = -е, (п)ф'. (V,- (п))у 1 (п); уДп) - выход нейро-
дм>а
У
на. Если на текущем шаге обучения частная производная по конкретному коэффициенту изменила
свой знак, то это означает, что последнее изменение было большим и алгоритм перешел локальный минимум, и, следовательно, значение коррекции необходимо изменить на , а предыдущее значение весового коэффициента вернуть. Если знак частной производной остался прежним, то нужно изменить значение коррекции на . Зафиксировав показатели и , можно отказаться от константных параметров настройки нейронной сети в (3), что можно оценить как преимущество данного методы перед стандартным алгоритмом градиентного спуска. Различные модификации ИРгор допускают ограничения максимума коррекции, применяемой к весовым коэффициентам, варьируют способы их начальной инициализации, а также различные значения показателей и .
Особенность архитектуры нелинейной авторегрессии с внешними входами позволяет проводить обучения в двух режимах: замкнутом и незамкнутом [19]. Выход такой сети, представленной на рис. 5, можно в общем виде описать как
у(г) = Б (у (г -1), у (г - 2), ..., у(г -1),
х(г), х(г -1), х(г - 2),..., х(г - к)),
где г - номер отсчета; к - глубина памяти и количество; I - количество обратных связей между выходом и входом сети; у(г) - выходной сигнал нейрона выходного слоя; х(г)- значения, подающиеся на вход сети. При обучении сети, вне зависимости от метода, существует два способа получения значений у(г -1), у(г - 2), ..., у(г -1). Можно брать значения у(г), равные значениям желаемых откликов, которые по определению содержатся в обучающих и тестовых выборках. Но важно понимать, что предварительное получение желаемых откликов невозможно при работе с данными, которые не встречались в процессе обучения. При тестировании желаемые отклики позволяют лишь оценить качество обучения, но они уже не играют важной роли при вычислении значений весовых коэффициентов. В процессе работы такая сеть сама генерирует выходные значения, использование которых в процессе обучения опционально и неизбежно при тестировании и дальнейшей работе. Режим обучения, при котором на вход сети через обратные связи поступают реальные значения выходного слоя, называется замкнутым. Следовательно, при использовании значений из выборки режим обучения становится незамкнутым.
(6)
Результаты. В качестве входных данных, на которых обучались и тестировались нейронные сети, использовалась база данных, предоставленная третьей городской больницей г. Томска, которая содержала 39 полисомнографических записей длительностью от 8 часов и дольше. Частота взятия отсчетов записи воздушного потока составляла 11 Гц. Следующие параметры нейронных сетей оставались неизменными [20]:
- метод обучения - эластичное сопротивление или ИРгор;
- количество скрытых слоев - 1;
- количество нейронов в скрытых слоях - 20;
- активационные функции нейронов: гиперболического тангенса - для нейронов скрытого слоя и логистическая - для нейронов выходного слоя.
Варьировались следующие параметры:
- глубина памяти на основе линий задержек с отводами;
- количество обратных связей;
- критерии остановки обучения (для каждой сети было проинициализировано 4 набора начальных коэффициентов, для каждого из которых использовался свой критерий остановки обучения).
Задача обучения заключалась в том, чтобы сеть научилась отображать входной сигнал в выходной (рис. 7). С одной стороны, сеть прогнозирует временной ряд, но в то же время, каждое значение выходного сигнала представляет собой результат классификации. Если значение выхода принимает близкое к единице значение, значит участок входного сигнала (длина которого определяется глубиной памяти сети) классифицируется как эпизод апноэ.
Результаты тестирования и обучения сети в зависимости от глубины памяти нейронной сети с фокусированной задержкой по времени показаны в табл. 1. На этапе обучения сеть смогла достичь значений среднеквадратичной ошибки при некоторых значениях глубины памяти. Однако тестирования показывали неудовлетворительные результаты: высокое значение среднеквадратичной ошибки, специфичность метода не превышала 10-20 % для всех значений глубины памяти.
Схожие по качеству результаты были получены и при работе с распределенной задержкой по времени, что показано в табл. 2. Стоит отметить, что обратные связи значительно усложняли процесс обучения. Количество итераций для обучения на одних и тех же примерах, по сравнению с фокусированной задержкой по времени, было одинаково. Наличие хотя бы одной локальной обратной связи в скрытом слое сети по сути удваивало количество входов для нейрона скрытого слоя.
Максимальное значение глубины памяти для входного слоя определялось с учетом частоты дискретизации, которая равнялась 11 Гц, и общепринятой медицинской методики классификации эпизодов апноэ, длительность которого в среднем равняется 10 с.
Для нелинейной авторегрессионной модели с внешними входами удалось получить точные результаты, однако, как видно из табл. 3, далеко не при всех значениях глубины памяти. Оказалось, что количество обратных связей между выходом и входом оказывает гораздо больший эффект на работу сети, нежели глубина памяти на основе задержек.
Рис. 7. Пример сигнала для обучения: а - входной; б - выходной
Таблица 1
Результаты обучения и тестирования сети с фокусированной задержкой по времени
Тип сети Глубина памяти на основе задержек
Фокусир. задержка
1 5 10 20 40 100
Средне-квадрат. ошибка обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест
0,022 0,106 0,012 0,110 0,002 0,157 1e-5 0,193 1e-8 0,263 1e-7 0,36
Таблица 2
Результаты обучения и тестирования сети с распределенной задержкой по времени
Topology Глубина памяти входного слоя : скрытого слоя
Распред. задержка
1:1 5:5 10:5 20:5 40:10 100:20
Средне-квадрат. ошибка обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест
0,012 0,118 0,004 0,112 9e-4 0,094 3e-4 0,113 4e-5 0,17 1e-4 0,5
Таблица 3
Результаты обучения и тестирования нелинейной авторегрессии с внешними входами
Topology Незакмнут. Глубина памяти входного слоя : обратные связи между выходом и входом
1:1 5:5 10:10 20:20 40:40
Средне-квадрат. ошибка обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест
1e-3 5e-3 1e-6 0,921 8e-5 1,942 9e-4 0,429 9e-3 0,407
Закмнут. обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест
Средне-квадрат. ошибка 0,337 0,312 0,98 2,32 1,152 2,316 2,561 3,017 1,125 1,141
Глубина памяти входного слоя : обратные связи между выходом и входом
NARX (open-loop) 60:60 100:100 150:150 170:170 25:170
Lowest MSE of 4 attempts обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест
1e-5 0,338 1e-6 0,178 1e-7 0,082 1e-8 0,08 1e-8 0,064
NARX (close-loop) обуч. тест обуч. тест обуч. тест обуч. тест обуч. тест
Lowest MSE of 4 attempts 0,637 0,729 0,216 0,382 0,039 0,051 0,027 0,103 1e-4 0,048
Заключение. Сравнение результатов обучения и тестирования различных типов динамических нейронных сетей позволило выделить тип архитектуры, который способен проводить классификацию участков записей значений воздушного потока у носа и рта, а также диагностировать эпизоды апноэ. Чувствительность и специфичность данного метода превышают 90 %. Параметры архитектуры сети, количество нейронов и типы связей между ними требуют тщательного подбора и играют не меньшую роль, чем алгоритм обучения. Нелинейная авторегрессионная модель показала лучшие результаты в плане точности, по сравнению с сетями с фокусированной и распределенной задержкой по времени. Время, которое было затрачено на обучение каждой сети, значительно не изменялось. Дальнейшее же увеличение количества обратный связей или увеличение глубины памяти если бы и привело к повышению точности для первых двух типов сетей, то было бы достигнуто за счет значительных временных затрат, что показывает преимущества нелинейной авторегрессионной модели с внешними входами, которая требует меньших вычислительных затрат.
References
1. Mangat E., Orr W. C., Smith R. O. Sleep apnea, hypersomnolence and upper airway obstruction secondary to adenotonsillar enlargement. Arch. Otolaryngology, 1977, Vol. 103, P. 383-386.
2. Newman A. B. et al. Relation of sleep-disordered breathing to cardiovascular disease risk factors: The Sleep Heart Health Study. A. J. Epidemiol, 2001, Vol. 154, P. 50-59.
3. Cabrero-Canosa M., Hernandez-Pereira E., Mo-ret-Bonillo V. Intelligent Diagnosis of Sleep Apnea Syndrome. Engineering in Medicine and Biology Magazine. 2004, Vol. 23, No. 2, P. 72-81.
4. Maali Y., Al-Jumaily A. Signal Selection for Sleep Apnea Classification. AI 2012: Advances in Artificial Intelligence, 2012, No. 5, P. 661-671.
5. Avci C., Akba§ A. Comparison of the ANN Based Classification accuracy for Real Time Sleep Apnea Detection Methods. The 9th International Conference on Biomedical Engineering (BIOMED 2012). Innsbruck, 2012, P. 1134-1142.
6. Correa L. S. et al. Sleep Apnea Detection Based on Spectral Analysis of Three ECG-Derived Respiratory Signals. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2009, P. 4723-4726.
7. Tagluk M. E., Sezgin N. Classification of Sleep Apnea through Sub-band Energy of Abdominal Effort Signal Using Wavelets and Neural Networks. Journal of Medical Systems, 2010, Vol. 34, No. 6, P. 356-369.
8. Alexin M. D. The procedure for determining the optimal parameters of the wavelet transform and neural network classifier for pattern recognition of non-stationary
signals bioradiolokatsionnyh // Neyrokomp'yutery: raz-rabotka, primenenie. 2012. Vol. 6. P. 46-54. (In Russ.).
9. Ebrahimi F. et al. Automatic Sleep Stage Classification Based on EEG Signals by Using Neural Networks and Wavelet Packet Coefficients. 30th Annual International IEEE Conference, Vancouver, 2008, P. 1151-1154.
10. Elman J. L. Finding structure in time. Cognitive Science, 1990, P. 179-211.
11. Jaeger H. Short term memory in echo state networks. GMD Report 152. German National Research Institute for Computer Science, 2002, 562 p.
12. Lawrence S., Giles C. L., Fong S. Natural language grammatical inference with recurrent neural networks. IEEE Transactions on Knowledge and Data Engineering. 2000, P. 126-140.
13. Giles C. L. et al. Extracting and learning an unknown grammar with recurrent neural networks. Advances in Neural Information Processing Systems 4. San Mateo ; Morgan Kaufmann Publishers, 1992, 317 p.
14. Cuellar M. P., Delgado M., Pegalajar M. C. An Application of Non-linear Programming to Train Recurrent Neural Networks in Time Series Prediction Problems. Enterprise Information Systems VII (Springer Netherlands), 2006, P. 95-102.
15. Hinton G. E. et al. Deep Neural Networks for Acoustic Modeling in Speech Recognition: The shared views of four research groups. IEEE Signal Processing Magazine, 2012, P. 82-97.
16. Graves A., Schmidhuber J. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information Processing Systems 22 (NIPS'22), 2009, P. 545-552.
17. Riedmiller M. Advanced supervised learning in multi-layer perceptrons - from backpropagation to adaptive learning algorithms. International Journal of Computer Standards and Interfaces, 1994, Vol. 16, No. 5, P. 265-278.
18. Riedmiller M, Braun H. A direct adaptive method for faster backpropagation learning: The Rprop algorithm. Proceedings of the IEEE International Conference on Neural Networks, 1993, P. 586-591.
19. Box G. E. P., Jenkins G. M., Reinsel G. C. Time series analysis: forecasting and control. Wiley, 2011, P. 734-748.
20. Devyatykh D. V., Gerget O. M., Berestneva O. G. Sleep Apnea Detection Based on Dynamic Neural Networks. Communications in Computer and Information Science, 2014, Vol. 466, P. 556-567.
© Гергет О. M., Девятых Д. В., 2016
