CC BY
42УДК (
Andrey Yu. Puchkov, Maksim I. Dli, Ekaterina I. Lobaneva
NEURO-FUZZY CLASSIFIER OF STATE OF THE TECHNOLOGICAL PROCESS
Smolensk Branch of National Research University "MPEI", Smolensk, Russia. putchkov63@mail.ru
The algorithmic structure of the classifier of the state of the technological process is proposed, which provides processing of data comnng through several channess of nnformation support of the cyberphysical system. The structure of the structure contains an ensemble of deep recurrent neural networks and an output hybrid neural network. The ensemble solves the regression problems for nnformation channess, and the output network serves for their generaiization and classification based on fuzzy logcc methods. The proposed hybrid archttecture makes it possible to take advantage of two methodologies for constructing neural networks - to perform a retrospective analysis of time series using the DRNN ensemble and to generaize the resutts of their work by the ANFIS system. The structure of the software developed for simulation experiments is described and therr results are presented.
Keywords: machine learning, deep neural networks, computer vision, hybrid neural networks, cyberphysical systems.
DOI: 10.36807/1998-9849-2020-57-83-105-110
Введение
Информационное обеспечение
киберфизических систем в настоящее время все чаще базируется на применении методов машинного обучения, которые позволяют автоматизировать процедуру извлечения необходимых закономерностей из поступающих данных. Среди таких методов наибольшую популярность получили глубокие нейронные сети, чему способствовало появление новых эффективных нейросетевых архитектур и значительно возросшие возможности вычислительной техники среднего ценового сегмента. Это позволило многим исследователям проводить обучение алгоритмов и их практическое внедрение с использованием готовых аппаратных решений [1, 2].
Применение таких решений для сложных промышленных объектов сталкивается с необходимостью обработки многоканальной технологической информации, поэтому большую популярность, в этом случае, приобретают ансамбли нейронных сетей, каждый элемент которого учитывает особенности представления и формат данных в конкретном канале. Объединение результатов работы
4.896
Пучков А.Ю., Дли М.И., Лобанева Е.И.
НЕЙРО-НЕЧЕТКИЙ
КЛАССИФИКАТОР
СОСТОЯНИЯ
ТЕХНОЛОГИЧЕСКОГО
ПРОЦЕССА
Смоленский филиал Национального исследовательского университета «МЭИ», Смоленск, Россия. putchkov63@mail.ru
Предложена алгоритмическая структура
классификатора состояния технологического процесса, обеспечивающая обработку данных, поступающих по нескольким каналам информационного обеспечения киберфизической системы. В составе структуры содержатся ансамбль глубоких рекуррентных нейронных сетей и выходная гибридная нейронная сеть. Ансамбль решает задачи регрессии для информационных каналов, а выходная сеть служит для их обобщения и классификации на основе методов нечеткой логики. Предложенная гибридная архитектура позволяет использовать преимущества двух методологий построения нейронных сетей - осуществлять ретроспективный анализ временных рядов с помощью ансамбля DRNN и обобщать результаты их работы ANFIS системой. Описана структура разработанного для проведения имитационных экспериментов программного обеспечения и приведены их результаты.
Ключевые слова: машинное обучение, глубокие нейронные сети, компьютерное зрение, гибридные нейронные сети, киберфизические системы.
Дата поступления -17 сентября 2020 года
канальных нейронных сетей для выработки какого-либо обобщающего решения в этом случае производится в выходном аналитическом блоке. Алгоритмы работы таких блоков предложены весьма разнообразные и базируются на дополнительных каскадах нейронных сетей [3, 4]; используют нечеткую агрегацию выходов ансамбля [5, 6]; используют дополнительную информацию для ансамблевого обучения [7]; самоорганизацию сетей [8]; модификации байесовского подхода, позволяющие компенсировать дисбаланс имеющихся данных [9]. Каждый из перечисленных подходов развивает прикладные направления использования нейронных сетей, учитывающие при объединении результатов канальной обработки информации определенный аспект конкретного приложения или особенности представления и форму исходных данных. Существующее большое разнообразие прикладных сфер для нейротехнологий обеспечивает актуальность исследований в этом направлении.
В работе предложена нейросетевая архитектура, осуществляющая многоканальную обработку информации в составе киберфизической системы с целью оценки ее состояния. Архитектура
содержит входной ансамбль глубоких рекуррентных нейронных сетей (Deep recurrent neural network, DRNN) и выходную гибридную нейронную сеть для агрегации промежуточных результатов представления данных. Такой состав нейронных сетей позволяет прогнозировать параметры киберфизической системы за счет DRNN и классифицировать ее состояние с помощью выходной гибридной (нейро-нечеткой) системы, набор правил которой, автоматически генерируемых при обучении, можно при необходимости корректировать.
Материалы и методы
Особенностью прикладного аспекта нейронных сетей в киберфизических системах является необходимость адаптации получаемых решений в информационно-технологическую среду физического процесса, что осуществляется на основе опыта разработчика как в области информационного, так и аппаратного обеспечения. Этот процесс для нейросетей заключается в анализе получаемых результатов и дальнейшей коррекции архитектур сетей и их гиперпараметров (исходных параметров сети и оптимизационных процедур, не изменяемых в процессе тренировки сети).
Отсутствие универсальных архитектур сетей приводит к необходимости применения различных методик для улучшения получаемых результатов анализа данных, одной из которых является бустинг (Boosting). Он заключается в последовательной агрегации разных алгоритмов, в которых каждый последующий использует для обучения результаты предыдущих, достигая, тем самым получение более сильного решения, высокой обобщающей способности и универсальности [10]. В определенной степени к бустингу можно отнести и внедрение методов, позволяющих улучшить понимание того, как нейронная сеть получает результат, так как это дает возможность для действий по его улучшению. Например, в [11] для учета симметрий в поступающих сигналах предлагается группировка нейронов в скрытом слое по виду автоморфизма и использование трехфазовой функций активации для каждой группы. Во многих случаях используют подобие мультиагентного подхода: создается множество относительно простых нейронных сетей с разными гиперпараметрами, а затем их выходы анализируются по различным схемам [12].
Авторами предложена гибридная архитектура классификатора состояния технологического процесса (ТП) по получению фосфора из отходов апатит-нефелиновых руд [13, in Russian], совместно использующая DRNN и сети ANFIS (adaptive neuro-fuzzy inference system - адаптивная сеть на основе системы нечеткого вывода Такаги-Сугено) [14]. Такая структура предоставляет механизм внесения в «закрытый» нейросетевой классификатор возможности учета знаний эксперта за счет корректировки синтезируемой системой ANFIS базы правил и позволяет осуществлять классификацию на основе дополнительных знаний. Рассматриваемый подход делает доступными понимание результатов классификации, так как в выходном каскаде ансамбля нейронных сетей будет видна интерпретация сигналов предыдущих каскадов.
Отметим, что гибридных подходы к построению решателей в интеллектуальных системах
достаточно часто используются в модификациях различных предметных областей и вариант ANFIS не единственный, который может быть использован. Одна из альтернатив представлена «коактивной системой нейро-нечеткого вывода» (Coactive Neuro-Fuzzy Inference System, CANFIS), которая также объединяет нечеткую логику и нейронные сети, достигая повышение мощности интеллектуальных систем за счет использования вербального и числового описания предметной области [15].
Предложенная гибридная архитектура содержит каскадное включение блока DRNN и адаптивной сети ANFIS, поэтому выходной нечеткий классификатор ANFIS получает возможность прогнозировать состояние ТП с учетом его поведения в прошлом за счет наличия такой способности у DRNN.
Описание архитектуры и ее применение сразу будем рассматривать для конкретного приложения, для которого она и создавалась - обработка технологической информации системы производства фосфора из отходов апатит-нефелиновых руд. Киберфизическая система состоит из интеллектуальной информационной надстройки и трех агрегатов (см. рис. 1), реализующих ТП:
- гранулятора (формирует сырые окатыши из рудных отходов);
- многокамерной обжиговой машины конвейерного типа (осуществляет высокотемпературный обжиг сырых окатышей);
- руднотермической печи (в ней происходит плавление окатышей с выделением газообразного фосфора).
Перечисленные агрегаты обозначены на рис. 1 как объекты управления (control object) CO1, CO2 и CO3 соответственно.
Применение DRNN обосновано их способностью к накоплению знаний за некоторый ретроспективный промежуток времени, что востребовано при управлении ТП, так как дает возможность оценивать его состояние не только по текущим параметрам, но и с учетом их поведения в прошлом. Особенно это важно для сложных ТП, разные стадии которых дифференцируются как по времени, так и в пространстве, реализуются на различных агрегатах. Ансамбль DRNN обеспечивает аппроксимацию исторического поведения и пространственное разбиение контролируемой системы на отдельные технологические зоны. В свою очередь, блок ANFIS автоматизирует получение окончательных выводов на основе предоставляемых рекуррентными сетями результатов.
Применение математических моделей процессов преобразования исходного сырья в конечный продукт каждым агрегатом дает возможность определить переменные состояния на входе/выходе каждого агрегата [13]. При подготовке обучающих наборов переменные объединяются в вектор-строки:
V =[ D Ui ], V2 =[ ri £ u ], V3 =[ Г2 стк n], где D - средний диаметр частиц отходов апатит-нефелиновых руд (мм); u1 - массовая доля влаги отходах руд (%); r1 - радиус сырого окатыша (мм), £ -пористость окатыша (в долях от объема всего окатыша), ио - влажность окатышей на выходе из гранулятора (%); r2 - радиус обожженного окатыша (мм); стк - прочность окатыша на сжатие (кН/окатыш); n - степень реагирования в реакциях декарбонизации
(доля прореагировавшего вещества от его общего объема). Отметим, что выходной вектор-строка V2 гранулятора является входным для обжиговой машины, а ее выходной вектор-строка V - входным для руднотермической печи, выходной параметр которой - чистота получаемого фосфора (% от общего объема выходных фракций).
V2 V3
CO 1 CO 2 CO 3
Y р
---. --ч
D u1 r1 E Ш
r2 Gk n Y р
ГТ ТТТ ТТТ1
LSTM / GRU
ANFIS
Рис. 1. Гибридная архитектура обработки информации в киберфизической системе
Перечисленные параметры, взятые через дискретные интервалы времени At, образуют матрицу исходных данных, которая постоянно пополняется новыми значениями по мере увеличения времени наблюдения. Для тренировки нейронных сетей используются данные, взятые за длительный промежуток времени, обеспечивающий достаточный объем обучающей выборки. Данные хранятся в виде файла формата CSV, фрагмент которого, отражающий типовые значения параметров ТП, показан на рис. 2.
Рис. 2. Фрагмент файла данных
Из всего разнообразия DRNN для рассматриваемой архитектуры были выбраны два вида сетей, обладающие на сегодняшний день лучшей репрезентативной мощностью и имеющие широкий спектр практических применений. Это сети на основе алгоритма долгой краткосрочной памяти (LSTM, Long Short-Term Memory) [16, 17] и сети GRU (Gated Recurrent Unit) [18, 19], применяющие принципы LSTM, но имеющие меньшее число фильтров и операций для вычисления. Слои LSTM и GRU позволяют справиться с проблемой затухания градиента, наблюдаемой в сетях прямого распространения с большим количеством слоев: по мере увеличения количества слоев сеть в конечном итоге становится необучаемой [20]. DRNN (в вариантах LSTM и GRU) в предложенной архитектуре используются для решения задачи регрессии.
Обучение DRNN и ANFIS осуществляется раздельно, в два этапа. На первом этапе проводится обучение DRNN, на втором - ANFIS. Перед обучением проводится подготовка и нормировка данных. Из файла CSV информация заносятся в матрицу: MV={[ VL V2 V3 ур]/>, где i =0, 1, 2, ... Nmv , где Nw - количество
строк таблицы, считанной из файла. Из этой матрицы формируются обучающие и тестовые наборы с учетом следующих управляющих параметров: lookback - число отсчетов времени от текущего момента, определяющие число строк в одном обучающем пакете данных; delay - интервал прогноза (если delay=0, то оценивается текущее состояние); min_index и max_index - индексы, ограничивающие область извлечения данных из MV; shuffle - логический ключ, при shuffle =1 строки извлеваются из MV с перемешиванием, при shuffle=0 - без перемешивания; batch_size - количество образцов в одном пакете, по которым подстраиваются веса сети; step - период в интервалах, задающий величину прореживания строк из MV.
В блоке LSTM/GRU (см. рис. 1) используется несколько параллельно включенных DRNN, отличающихся количеством компонент во входных векторах данных и выходным параметром. Для сетей DRNN1 - DRNN3 входным является объединенный вектор-строка [VL V2], а отличаются сети тем, какой параметр для них взят в качестве выходного r1, £ или ио соответственно. Для сетей DRNN4 - DRNN7 входными являются наборы из векторов [V2 V3], Выходные параметры у сетей: r2, ст^ n и соответственно.
Не останавливаясь подробно на алгоритмах работы сетей, отметим только, что выход y k-й DRNN, k=1, 2, ..., 7, формируется в соответствии с выражением:
У = f (state_t ° Uk + BVk ° Wk + b) где state_tk, Uk, bk - обучаемые параметры k-й LSTM для текущего момента времени t ° - символ матричного умножения Адамара (покомпонентное произведение), BVk - входной пакет обучающих данных.
Отметим, что LSTM/GRU содержат последовательно расположенный набор рекуррентных блоков и могут обрабатывать только строку параметров [20]. Однако в алгоритмах обучения предусмотрена пакетная подача на вход сети исходных данных (в соответствии с приведенным выше списком управляющих параметров), поэтому state_t, Uk, и bk представляют собой матрицы.
Применение и результаты
Обучение сетей DRNN проводилось в режиме sequence to end, когда возвращались не полные последовательности результатов для всех временных интервалов, а только последний результат для каждой входной последовательности. Применение GRU в представленной на рис. 1 архитектуре позволяет снизить вычислительные затраты на тренировку сетей за счет их более простой структуры, чем LSTM, как отмечалось выше. Использование GRU совместно с LSTM обосновано целесообразностью апробации более простых решений, если они позволяют достигать заданной точности оценки состояния ТП.
На втором этапе осуществляется обучение сети ANFIS, имеющей семь входов (по количеству DRNN) и один выход CL, имеющий диапазон значений от 0 до 1. Сетью решается задача классификации состояния ТП на основе результатов его оценки DRNN. Было принято, что состояние ТП может быть разбито на четыре класса (в зависимости от величины параметра ур): «номинальное значение», «превышение
номинального значения», «малое отклонение вниз от номинального значения» и «большое отклонение вниз от номинального значения» (таблица).
Весь диапазон (от 0 до 100 %) представляет собой технологически допустимый разброс значений параметра ур, выход за пределы которого отслеживается уже контрольно-измерительной аппаратурой.
В реализующей архитектуру программе предусмотрен управляющий параметр delay, в зависимости от которого может проводиться оценка текущего состояния (delay=0) или прогнозирование (delay>0). В отличие от DRNN обучение ANFIS требует
Таблица. Номера классов выходного параметра
Интервал Выход ANFIS,
Номер Наименование значений соответствующий
класса класса параметра Ур, % классу
1 Номинальное значение (НЗ) 40-60 0.75
2 Превышение НЗ 61-100 1.00
Малое
3 отклонение вниз от НЗ 30-39 0.50
Большое
4 отклонение вниз от НЗ 0-29 0.25
значительно меньшего объема обучающей выборки за счет относительно малого числа настраиваемых параметров сети [15].
Для апробации предложенной нейросетевой архитектуры была выполнена имитационные эксперименты в среде MatLAB 2019b, имеющей специализированную библиотеку машинного обучения Deep Network Designer. Перед обучением данные были нормированы с помощью операций вычитания среднего и деления на среднеквадратическое отклонение. Упрощенная схема слоев каналов обработки параметров ТМ показана на рис.3.
Рис. 3. Схема слоев гибридной сети для одного канала обработки данных
Обучение каждой из семи LSTM проводилось в течение 250 эпох, количество образцов в обучающем наборе данных составляло 50000, а в тестирующем 10000. Для борьбы с переобучением использовался механизм прореживания. Оценка качества обучения (рис. 4) проводилась с использованием двух метрик: корня из среднеквадратичной ошибки (Root Mean Square Error, RMSE) и функции потерь loss [21].
1 If (inout 1 is inlmfl) and (input2 is in2mf1) and (inputs is in3~f1: and iinput4 is in4mf 1 and (inputs is in5mf1) and (inputs is inGnfV: and (input/ is m7mf1Hhen (output is outlmfl) (1}
(inputl is
3. If (inputl
4. If (inputl
5. If (inputl
6. If (inputl
7. If (inputl
8. If (inputl
9. If (inputl
10. If (inputl <
inlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and (input4 is nlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and (input4 nlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and [input4 nlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and [input4 nlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and (input4 nlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and [input4 nlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and [input4 nlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and [input4 inlmfl) and (input2 is in2mf1) and (input3 is in3mf1) and (input4
in4mf1) and (input5 is in5mf1) and (input6 is in6mf1) and (input7 is
in4mf1) and (inputs in4mf1) and (inputs in4mf1) and (inputs in4mf1) and (inputs in4mf1) and (input5 in4mf1) and (inputs in4mf2) and (inputs
s in5mf1) and (input6 is in6mf2) and (input7 s inSmfl) and (input6 is in6mf2) and (input7 s in5mf2) and (input6 is in6mf1) and (input7 s in5mf2) and (input6 is inGmfl) and (input7 s in5mf2) and (input6 is in6mf2) and (input7 s in5mf2) and (input6 is in6mf2) and (input7 s in5mf1) and (input6 is in6mf1) and (input7
s in4mf2) and (inputs is inSmfl) and (inputß is in6mf1) and (input7 is
n7mf2)then (output is out1mf2) (1) n7mf1)then (output is out1mf3) (1 n7mf2)then (output is out1mf4) (1 n7mf1)then (output is outlmfS) (1 n7mf2)then (output is out1mf6) (1 n7mf1)then (output is out1mf7) (1 n7mf2) then (output is outlmfS) (1 n7mf1)then (output is out1mf9) (1 n7mf2) then (output is out1mf10) (1)
Рис.. 5. Фрагмент набора правил ANFIS
Конфигурация ANFIS: количество входов - 7; количество функций принадлежности для каждого входа - 2; тип функций принадлежности - trimf; количество выходов - 1; тип функций принадлежности - linear. В процессе обучения ANFIS был сгенерирован набор правил, структура которых отражена на фрагменте, показанном на рис. 5.
Аппаратное обеспечение, на котором проводилась тренировка нейронных сетей: ноутбук ASUS TUF Gaming FX705DT-AU039, CPU AMD Ryzen 7 3750H, 2.3ГГц, GPU NVIDIA GeForce GTX 1650 4G, 1024
ядра CUDA (обеспечивают параллельные вычисления). Результаты классификации представлены на рис. 6.
Рис. 6. Результаты классификации
Крестиками обозначены выход
классификатора гибридной архитектуры, точками обозначены уровни, соответствующие истинным классам. Был принят параметр прогноза delay = 0, что означает распознавание текущего состояния, однако на качество классификации, выполняемой ANFIS, это не влияет, так как за точность прогноза отвечает в данной архитектуре блок LSTM/GRU (его характеристики точности отражены на рис. 4). Отметим, что замена в эксперименте LSTM на GRU практически не отразилась на точности прогноза, что может быть обусловлено большим числом эпох обучения или особенностями тренировочного набора данных.
Группировка значений выхода классификатора около истинных значений классов на рис. 6 может свидетельствовать о работоспособности предложенной гибридной архитектуры и возможности ее применения для решения задачи классификации состояния ТП. Для получения целого номера класса из таблицы можно задать допустимый диапазон разброса значений выхода ANFIS. Некоторые из выходов ANFIS, подчеркнутые на рис. 6, имеют значительные отклонения от истинных значений, что отражает ошибки классификации, уменьшить которые можно модификацией гиперпараметров гибридной архитектуры, например, увеличить до трех число функций принадлежности входов ANFIS.
Заключение
Предложенная гибридная архитектура позволяет использовать преимущества двух методологий построения нейронных сетей -осуществлять ретроспективный анализ временных рядов с помощью ансамбля DRNN и обобщать результаты их работы ANFIS системой, предоставляющей дополнительную возможность внесения корректировок в автоматически создаваемую базу знаний в случае возникновения такой необходимости.
Проведенный имитационный эксперимент показал способность предложенной гибридной архитектуры осуществлять классификацию состояния процесса на основе поэтапной обработки исходной информации с помощью DRNN и ANFIS системы.
Полученные результаты могут быть использованы при разработке алгоритмического и программного обеспечения систем интеллектуального анализа данных в различных предметных областях.
Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 1829-24094 и № 19-01-00425.
Литература
1. Ivanavicius, A,, Simonavicius, H., Gelsvartas, J. et a! Real-time CUDA-based stereo matching using Cyclops2 algorithm // EURASIP Journal on Image and Video Processing. 2018. №12.
2. Moreno, J.J., Ortega, G, Filatovas, E. et al Using low-power platforms for Evolutionary Multi-Objective Optimization algorithms // Journal of Supercomputing.
2017. №73. Р. 302-315.
3. Frazao X., Alexandre L.A. Weighted Convolutional Neural Network En-semble / Bayro-Corrochano E, Hancock E (eds) Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications. CIARP 2014. Lecture Notes in Computer Science. 2014. № 8827.
4. Kottka S., Friedrich C.M. Optimized Convolutional Neural Network Ensembles for Medical Subfigure Classification // International Conf. of the Cross-Language Evaluation Forum for European Languages CLEF 2017: Experimental IR Meets Multilinguality, Multimodality, and Interaction. September 11-14, 2017, Dublin Ireland. 2017. № 10456. Р. 57-68.
5. Lobaneva Ye., Puchkov A.Yu., Di M.I., I,, Vasikova M.A. Choice of a Deep Neural Networks Architecture to Monitor the Dynamics of an Object State // IS 2019. Proceedings of the 14th International Conference on Interactive Systems: Problems of Human-Computer Interaction. Ulyanovsk, Russia, September 24-27, 2019. Ulyanovsk: Ulyanovsk State Technical University. Р. 142151.
6. Kuyasova E.V, Kulyasov N.S., Puchkov A.Yu. The Appliance of Deep Neural Networks in the Process of Managing Chemical Enterprises // IOP Conf. Series: Journal of Physics: Conf. Series. 2019. № 1260.
7. Guo Y, Wang X., Xiao P. et aI. An ensemble learning framework for convolutional neural network based on multiple classifiers // Soft Comput. 2020. V. 24. P. 37273735.
8. Stáhl N, Falkman G, Mathiason G, Karlsson A.A. Self-Organizing Ensemble of Deep Neural Networks for the Classification of Data from Complex Processes. // International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems IPMU 2018: Information Processing and Management of Uncertainty in Knowledge-Based Systems. Applications.
2018. №855. P. 248-259.
9. Lázaro M., Herrera F, Figueiras-Vidal A.R. Classification of Binary Imbalanced Data Using A Bayesian Ensemble of Bayesian Neural Networks // International Conference on Engineering Applications of Neural Networks EANN 2015: Engineering Applications of Neural Networks. 2015. № 517. P. 304-314.
10. DembskiJ. Multiclass AdaBoost Classifier Parameter Adaptation for Pattern Recognition // International Conference on Image Processing and Communications IP&C 2016: Image Processing and Communications Challenges 8/ P. 203-210.
11. Ложкин А.Г, Майоров К.Н. Применение механизма симметрии в нейронных сетях // Сб. научных трудов XVII Национальной конф. по искусственному интеллекту с международным участием КИИ-2019. В 2 т. 21-25 октября 2019. г. Ульяновск: УлГТУ, 2019. Т. 2. С. 119-126. 11.(Lozhkin
A.G.. Mayorov K.N. Primeneniye mekhanizma simmetriy v neyronnykh setyakh // Sb. nauchnykh trudov XVII Natsionalnoy konf. po iskusstvennomu intellektu s mezhdunarodnym uchastiyem KII-2019. V 2 t. 21-25 oktyabrya 2019. g. Ulianovsk: UlGTU. 2019. T. 2. S. 119-126).in Russian)
12. Zhang, W, Jiang, J,, Shao, Y. et al Snapshot boosting: a fast ensemble framework for deep neural networks. // Science China Information Sciences. 2020. № 112102.
13. Пучков А.Ю., Дли М.И., Лобанева Е.И., Близнюк О.А. Оптимизация энергопотребления многостадийного технологического процесса производства фосфора // ММТТ-32. Математические методы в технике и технологиях: сб. тр. междунар. науч. конф.: в 12 т. Т. 4 / под общ. ред. А.А. Большакова. СПб.: СПбПУ Петра Великого, 2019. С. 68-71. (Puchkov A.Yu.. Dii M.I.. Lobaneva EI. Bizznyuk O.A. Optimizatsiya energopotrebleniya mnogostadiynogo tekhnologicheskogo protsessa proizvodstva fosfora // MMTT-32. Matematicheskiye metody v tekhnike i tekhnologiyakh: sb. tr. mezhdunar. nauch. konf.: v 12 t. T. 4 / pod obshch. red. A.A. Bolshakova. SPb.: SPbPU Petra Velikogo. 2019. S 68-71) in Russian
14. Arun K.S., Govindan V.K. A hybrid deep learning architecture for latent topic-based image retrieval // Data Sci Eng. 2018. № 3. Р. 166-195.
15. Tahmasebi P., Hezarkhani A. A hybrid neural networks-fuzzy logic-genetic algorithm for grade
estimation // Computers & Geosciences. 2012. № 42. P. 18-27.
16. Liu J,, Chen S. Non-stationary Multivariate Time Series Prediction with Selective Recurrent Neural Networks // PRICAI 2019: Trends in Artificial Intelligence. PRICAI 2019. Nayak A., Sharma A. (eds). Lecture Notes in Computer Science. 2019. № 11672.
17. Atthe/aya K A,, E-Affy E. M, Mohammed S. Stock Market Forecast Using Multivariate Analysis with Bidirectional and Stacked (LSTM, GRU), // Saudi Computer Society National Computer Conference (NCC). 2018 . P. 17.
18. Ke K, Hongbin S, Chengkang Z et al. Short-term electrical load forecasting method based on stacked auto-encoding and GRU neural network // Evol. Intel. 2019. № 12. P. 385-394.
19. Islam M.M, Lam A., Fukuda H. et al An intelligent shopping support robot: understanding shopping behavior from 2D skeleton data using GRU network // Robomech. 2019. № 18.
20. Hochretter S., Schmidhuber J. Long short-term memory // Neural computation. 1997. Vol. 9. № 8. P. 1735-1780.
21. Boutaba, R, Salahuddin, M.A., Limam, N. et al. A comprehensive survey on machine learning for networking: evolution, applications and research opportunities // Journal of Internet Services and Applications 2018.V. 9. № 16.
Сведения об авторах:
Пучков Андрей Юрьевич, канд. техн. наук, доцент; Andrey Yu. Puchkov, putchkov63@mail.ru
Дли Максим Иосифович, д-р техн. наук, профессор; Maksim I. Dli, Dr Sci. (Eng.), MiDli@mail.ru
Лобанева Екатерина Ивановна, аспирант; Ekaterina I. Lobaneva, Ph.D (Eng.), Postgraduate, lobaneva94@mail.ru
