CC BY
34УДК 004.896
Andrey Yu. Puchkov, Maksim I. Dli, Ekaterina I. Lobaneva
Пучков А.Ю., Дли М.И., Лобанева Е.И.
application of deep neural networks in models of complex technological objects
Smolensk Branch of National Research University "MPEI", Energy passage, 1, Smolensk, 214013, Russia e-mail: putchkov63@mail.ru
The structure of the information model of complex technological objects based on the appiccation of machine learning methods is presented. The created hierarchical structure for processing technological information in the first cascade uses an ensemble of convolutional neural networks, in which each network is connected to a specfic information channel of the technological zone. The output of the ensemble arrives at the second processing stage, whcch includes an output neural network, the task of which is to recognize the dynamics of the technological process and its forecasting. The resutts of model experiments on recognition of transitions of the state of aggregation of a substance in the technologccal process of aluminum smelting are presented. The developed information model is implemented in software written in Python using the Keras neural network Hbrary.
Keywords: machine learning, computer vision, software models, deep neural networks, an ensemble of convolu-tional neural networks.
DOI 10.36807/1998-9849-2020-52-78-104-110
Постановка проблемы
Автоматизированный контроль
технологических процессов обеспечивается за счет непрерывного сбора, обработки и анализа поступающей оперативной информации от большого числа датчиков, первичных преобразователей, контрольно измерительной аппаратуры. Число информационных каналов возрастает по мере увеличения сложности системы, реализующей контролируемый технологический процесс. Под сложными понимаются многосвязные системы, содержащие несколько частных подсистем или объектов управления, реализующих единый технологический процесс, аналитическое описание которых базируется на различных формальных представлениях предметной области.
Представителями таких систем являются сложные химико-энерготехнологические системы (ХЭТС) для которых также характерна многостадийность, значительная пространственная распределенность технологических зон, большая временная дифференцировка протяженности отдельных этапов единого процесса, широкая
применение глубоких
нейронных сетей в
моделях сложных
технологических
объектов
Смоленский филиал Национального исследовательского университета «МЭИ», Энергетический проезд, 1, г.Смоленск, 214013, Россия. e-mail: putchkov63@mail.ru
Представлена структура информационной модели сложных технологических объектов на основе применения методов машинного обучения. Созданная иерархическая структура обработки технологической информации в первом каскаде использует ансамбль сверточны/х нейронных сетей, в котором каждая сеть подключена к определенному информационному каналу технологической зоны. Вы/ходны/е данные ансамбля поступают на второй каскад обработки, в составе которого присутствует выходная нейронная сеть, задачей которой является распознавание динамики технологического процесса и ее прогнозирование. Приведеныы результаты/ модельны/х экспериментов по распознаванию переходов агрегатного состояния вещества в технологическом процессе плавки алюминия. Разработанная информационная модель реализована в программном обеспечении, написанном на языке Python с применением нейросетевой библиотеки Keras.
Ключевые слова: машинное обучение, компьютерное зрение, программные модели, глубокие нейронные сети, ансамбль сверточных нейронных сетей.
Дата поступления - 5 декабря 2019 года
номенклатура применяемой контрольно-
измерительной аппаратуры [1].
Другой отличительной чертой ряда ХЭТС является большой срок эксплуатации и, соответственно, применение устаревших
технологических решений [2]. Их изменение невозможно без общей модернизации производства, а ее применение повлечет существенные финансовые затраты, в том числе за счет вынужденного технологического простоя.
Альтернативным направлением модернизации является реинжиниринг информационного обеспечения технологического процесса
совершенствованием систем сбора и обработки технологической информации, применения современных алгоритмов диагностики состояния и управления. Эта процедура значительно менее затратна по финансовым и временным показателям по сравнению с модернизацией технологического оборудования. Поэтому направление
совершенствования контрольно-измерительной
инфраструктуры АСУТП на основе современных достижений информационных технологий
представляет актуальную исследовательскую задачу,
решение которой может принести ощутимые преимущества для предприятий в относительно короткие сроки.
Материалы и методы
Среди новых подходов к обработке технологической информации все большую популярность приобретают интеллектуальные методы, основанные на машинном обучении. Их преимущество заключается в особенностях реализации алгоритма обработки поступающей информации, которая заключается в отсутствии необходимости явно указывать набор признаков факторного пространства, так как программа находит ключевые факторы в процессе обучения на множестве примеров и это процесс постоянно продолжается по мере поступления новых данных [3].
Одной из областей специализации машинного обучения выступают задачи обработки больших данных (Big Data), к которым можно отнести информационные потоки в АСУТП. Обоснованность этого вывода можно подтвердить очевидным выполнением для сложных ХЭТС критерия «трех V»: volume (большие физические объёмы); velocity (скорость прироста и необходимость их оперативной обработки); variety (многообразие, то есть необходимость одновременной обработки различных типов структурированных и полуструктурированных данных). Известно несколько модификаций критерия, но выполнение этих трех пунктов позволяет применять методы Big Data к информационным потокам в АСУТП.
Среди методов машинного обучения широкое применение для решения реальных задач в последнее время находит глубокое обучение, использующее сверточные нейронные сети (convolutional neural network, CNN). Высокие результаты, показываемые CNN при распознавании изображений, приводят к большому спектру их приложений в тех предметных областях, где имеется возможность
переформулировать исходную задачу к задаче распознавания образов. Среди таких предметных областей: медицина [5], социальный инжиниринг [6], обработка текста [7], распознавание жестов [8], автоматическая идентификация транспортных средств на линии производства покрытий на основе компьютерного зрения [9], идентификация транспортных средств в туннельной системе наблюдения [10], обнаружение трещин в бетоне [11] и многие другие. Приведенный перечень показывает, что CNN представляет универсальный инструмент и для решения задач глубокого анализа данных, если удачно провести их препроцессинг (предварительную подготовку) и соответствующим образом спроектировать архитектуру нейронной сети.
Глубокое обучение представляет собой больше инженерную дисциплину, так как математическое обоснование получаемых результатов часто невозможно получить из-за сложности топологии внутренних связей и большого количества элементов нейросетевой структуры [3].
Предлагаемый подход к созданию моделей сложных технологических процессов основан на применении ансамбля CNN, подключенных к анализу данных в различных точках технологического процесса, с последующей обработкой получаемых результатов в аналитическом блоке. Помимо
пространственного разбиения технологических зон, обработка дискретизируется и по времени, что позволяет отслеживать динамику процессов.
Существует большое разнообразие построений и интерпретации работы ансамблей CNN [12], представлено множество их применений в медицинских приложениях, системах контроля биометрических данных, распознавании видов человеческой деятельности [13-16], но практически отсутствуют работы по обобщенному моделированию и диагностики состояний технологических процессов.
Контрольные технологические зоны, где предполагается задействовать CNN, могут содержать разного формата источники данных. Кроме мест, где явно присутствуют потоки видеоданных, например [17], обработке могут подвергаться и другие формы сигналов, в том числе при контроле производственных шумов, используя различные методы преобразования звуковых волн [18].
Укрупненная структура предлагаемой модели обработки информации сложного технологического процесса на основе применения глубоких нейронных сетей показана на рис. 1.
Общая алгоритмическая структура предлагаемой модели обработки технологической информации заключается в следующем. Предполагается, что контрольно-измерительная информация из технологических зон (zone 1, ..., d) представлена многоканальными наборами данных для каждой зоны. Эта информация через коммутатор (commutator) подается на вход ансамбля локальных CNN, который для каждой зоны формируется с учетом формы представления данных в информационных каналах и требований их дальнейшего анализа, который осуществляется в группе зонных анализаторов (analyzer 1, ., d). С выходов зонных анализаторов информация поступает на выходную нейронную сеть (CNN_out), осуществляющий оценку и прогноз состояния всего технологического процесса.
conclusion
Рис. 1. Структура модели обработки информации
Наличие коммутаторов, управляемых блоком частных анализаторов позволяет осуществлять прогноз развития контролируемого параметра технологической зоны по результатам
видеонаблюдения за технологическими зонами. Алгоритм этого процесса состоит в следующем.
Обозначим интервал дискретизации по времени для информационного канала kzd технологической зоны d через Atizd = tizd - ti-izd . В моменты tizd и ti-izd осуществляется замыкание коммутатора канала kzd и на вход CNN канала поступает изображение контролируемого технологического параметра, который обозначим Pzd. Величина интервала дискретизации Atizd просчитывается частным анализатором с учетом требований теоремы Котельникова (в англоязычной литературе известна как теорема Найквиста — Шеннона) [19].
CNN информационного канала kzd распознает предложенное на заданном временном такте изображение. Эта процедура заключается в формировании выходного вектора Vkzd, имеющего размерность, соответствующую количеству классов n_CL_kzd для этого канала:
ykzd —
к.
V,
(1)
Предполагается, что архитектура выходного слоя CNN формируется таким образом, что элементы вектора (1) содержат значения от 0 до 1, характеризуя степень уверенности нейронной сети в принадлежности контролируемого по изображению параметра Pzd. к тому или иному классу в момент tizd .
Применение CNN для информационного канала kzd осуществляется на протяжении всего технологического процесса, но все это время может разбиваться на фрагменты длительностью Ti., задаваемых в качестве исходных данных для работы алгоритма и определяемые требованиями к периодичности поступления информации в АСУТП. Поэтому к моменту времени времени Ti подвергнется обработке в частных анализаторах iT отсчетов и станет доступна матрица результатов классификации:
f V kzd V kzd V k* ^
1,1 ' 1,2 ' 1,n CL kzd
MVt k'd =
'T
V ^, V , •••, V kzd
(2)
■ ,n_CL_kzd J
Полученный набор (2) содержит данные о динамике уверенности CNN в результатах классификации и может быть использован при выработке управляющих решений в АСУТП. С этой целью рассчитывается матрица отношений приращений элементов (2) к заданному интервалу дискретизации Atzdi
( V,,k*d- V-kzd
DV k'd =
't
V kzd - V kzd \
VT Д VT'-1Д
d - V At,zc
(3)
Обозначим, с целью упрощения записи, элементы матрицы (3) как dv¡,j. Их смысловую нагрузку можно трактовать как аналог производных для непрерывных функций, так как они отражают
изменение уверенности нейронной сети в принадлежности образа к тому или иному классу.
Скорость изменения, в данном случае величину элемента dv¡,j, можно использовать для прогноза развития технологического процесса. С этой целью матрицы вида (3) рассчитываются для всех измерительных каналов и всех технологических зон.
Формирование входного тензора для €NN^N1 на основе фрагмента в ¡т отсчетов осуществляется объединением матриц (3) для всех каналов и зон
TR.
= (DV.'
V 'T
DV. ■
DV.'
(4)
Следует отметить, что количество классов для разных информационных каналов и разных технологических зон может быть различно (рис.1), поэтому размерность матрицы (3) в общем случае будет разной. Количество строк в (3) для всех зон будет одинаковым, так как он определяется числом отсчетов дискретного времени i=1, 2, ..., iT. Количество столбцов матрицы TR^ определяется количеством информационных каналов в каждой зоне, количеством классов, определяемых для каждого канала и равно (kzl . n_CL_kz1) +( kz2 . n_CL_kz2) +...+ (kzd . n_CL_kzd).
С формированием входного тензора TRiт заканчивается многоэтапный препроцессинг данных для обеспечения работы выходной нейронной сети (препроцессинг для локальных CNN не описывался, так как не представляет специальный интерес в рамках данной работы). Далее остается только определить пространство гипотез для CNN_out, так как применение глубокого обучения избавляет от необходимости конструировать признаки, заменяя сложные, противоречивые и тяжелые конвейеры простыми обучаемыми моделями, которые обычно строятся с использованием нескольких тензорных операций [3].
Тензор TR^ формировался на основе данных о динамике трансформации классовой принадлежности параметров информационных каналов, отраженной в матрице (3). Поэтому, при формировании пространства гипотез можно ожидать хороших результатов прогноза с помощью CNN_out состояний технологического процесса, значений каких либо параметров получаемого на выходе продукта.
Применение и результаты
Для апробации предложенной модели обработки информации сложного технологического процесса проведен имитационный эксперимент по обработке изображений слитков алюминиевого сплава с целью определения их агрегатного состояния. Агрегатное состояние оценивается по изображению поверхности, наблюдая через смотровое окно, расположенное в крышке плавильной печи [17]. Получаемое изображение показано на рис. 2 в левой его части.
В технологическом процессе плавления слитков трудно обеспечить их идеальное прилегание друг к другу. Алюминий обладает конечным коэффициентом отражения, поэтому в полостях между слитками свет частично поглощается, полости между слитками на изображении выглядят темнее, чем поверхность слитков. При полном расплавлении
)
zd
T
)
k
k
полости пропадают, и изображение поверхности металла становится менее контрастным [17].
Для рассматриваемого применения общая схема, показанная на рис. 1 упрощается (рис. 2).
Изображение рабочей поверхности алюминиевых слитков, формируемое видеокамерой, имеет разрешение 640x480 (рис. 3а). Если такое разрешение оставить и подавать в качестве примера на вход CNN, то процесс обучения потребует больших временных затрат, учитывая, что количество таких примеров будет несколько тысяч. Поэтому размер исходного изображения программно уменьшается до 90x90. Кроме того учтено, что освещение зоны плавления производится электрической дугой, поэтому яркость изображения может флуктуировать при изменении питающего напряжения в сети. Для снижения влияния этого фактора проводилось нормировка яркости (рис. 3б).
Рис. 2. Структура обработки изображения зоны плавки
Существующие методы визуального определения агрегатного состояния вещества (метод триангуляции, метод рассечений, метод площадок) анализируют изменение площади изображения поверхности расплавляемого металла в трехмерном пространстве, а не площадь поверхности переплавляемых слитков [20].
:
;
j „
■ - .—j"
а) б) в)
Рис. 3. Изображения поверхности плавления
Предлагаемый метод контроля агрегатного состояния на основе глубоких нейронных сетей также осуществляет анализ трехмерной поверхности слитков. Это обеспечивается тем, что анализ процесса плавки в матрице изображений будет характеризоваться изменением высоты возвышенностей на гистограмме (рис. 3в), что учитывается нейронной сетью при формировании ответа.
Для снижения влияния шумов, возникающих на изображении при преобразовании видеоряда в формат jpeg на уровне видеокамеры, целесообразно применение низкочастотного фильтра [17].
Один кадр отражённого от поверхности алюминия света задается тензором третьего ранга 640x480x 3 в соответствии с используемой цветовой моделью RGB. Для контроля границ перехода верхней поверхности слитков в расплавленное состояние нет необходимости сохранять такую размерность тензора, так как достаточно ограничиться черно-белым изображением, хорошо отражающим требуемые характеристики. В результате один пример из обучающего набора представляет тензор второго
порядка, а вся совокупность таких примеров образует тензор третьего ранга, подаваемый на вход CNN 1,1.
Интервал временной дискретизации видеоряда, поступающего от видеокамеры, нацеленной на поверхности стержней, взят равным одной секунде. Для выделения кадров из видео использовалось бесплатное программное приложение Free Video to JPG Converter. Оно автоматически извлекает кадры из заданного видео с требуемой дискретностью и сохраняет их в формате jpg. Из видеозаписи даже для одного процесса плавки можно выделить большое количество изображений для обучающей выборки. Однако в этом случае нейронная сеть хорошо обучится для текущего взаимного расположения слитков и при другой конфигурации слитков (на другом рабочем наборе) сеть может показать результат хуже.
Для снижения влияния этого обстоятельства применена процедура аугментации, в процессе которой для исходного изображения рабочей поверхности слитков были реализованы сдвиги, изменение масштаба, повороты относительно центра, зеркальное отражение, афинные преобразования.
Время плавки партии алюминиевых стержней составляет примерно 300 с, оно было разбито на интервалы, соответствующие различным распознаваемым CNN1,1 классам, соответствующим твердому, переходному и жидкому агрегатным состояниям. Наибольшее изменение изображения происходит в области переходного режима из твердого состояния в жидкое, поэтому она была представлена двумя классами - начальной и конечной зонами (таблица).
Таблица . Разбиение времени плавки на классы/
Номер Агрегатное Временной
класса состояние диапазон, с.
1 твердое 0-269
2 начальное 270-279
переходное
3 конечное 280-289
переходное
4 Жидкое 290-300
Программная модель для рассматриваемого технологического процесса (плавки алюминиевых стержней), осуществляющая распознавания переходов агрегатного состояния реализована на зыке Python 3.6. Средой разработки выбрана IDE Spyder из сборки Anaconda (версия для операционной системы Linux). Сверточные нейронные сети разрабатывались с использованием специализированной библиотеки Keras, представляющая надстройку над фреймворком тензорных вычислений TensorFlow [21].
В программе была применена CnNi,i содержащая семь чередующихся слоев свертки и подвыборки и один выходной полносвязный слой с четырмя выходами (по количеству распознаваемых классов). Обучающая выборка имела размер 1600 примеров, тестирующая - 400 примеров, тренировка сети проводилось в течение 150 эпох.
Анализ результатов работы программы, представленных на верхнем графике на рис. 4, показывает, что при одном прогоне на выходах CNNi,i отчетливо видна динамика классификации в процессе проведения плавки.
Окончательный результат классификации можно получить, если на каждом секундном отсчете
осуществлять выбор выхода CNNl,l по мажоритарному принципу. При многократном прогоне номера классов, как показано на нижнем графике на рис. 4, корректно распознаются нейронной сетью €NN1,1, неустойчивое распознавание проявляется только в зоне перехода от одного класса к другому. Это обстоятельство может быть объяснено сложностью выявления отличий в поверхностях на стыке классов, кроме того, относительная длительность этих нестабильных интервалов времени невелика.
Рис. 4. Результаты распознавания изображений
Для прогнозирования динамики развития процесса вычисляется матрица (3), набор которых формирует исходные данные для работы сети CNN_out. Примеры получаемых изображений для двух плавок показаны на рис. 5. На нем видно, что для разных процессов плавления алюминиевых стержней изображение разное, что свидетельствует о возможности использования методов распознавания текстуры в блоке CNN_out для прогноза развития процесса. В этом исследовании эксперимент по расчету динамики не проводился, но это планируется сделать в дальнейших работах.
Тренировка сверточной нейронной сети затратный с точки зрения вычислительных ресурсов процесс, поэтому он был переведен с центрального процессора (CPU) на видеокарту (GPU) фирмы Nvidia.
Рис. 5. Визуализация матриц динамики процесса
Отметим, что сейчас в доступном сегменте видеокарт библиотеку TensorFlow на GPU поддерживает только компания Nvidia, поэтому другие видеокарты стоит исключить из рассмотрения при планировании решения задач машинного обучения. Предпочтительно использование видеокарты Nvidia Titan Xp (архитектура Nvidia Pascal, оснащена 3840 ядрами Nvidia CUDA, производительность в 12
Терафлопс) или GeForce GTX 1060 (оснащенна 1280 ядрами Nvidia CUDA), которая хоть и менее мощная, однако также обеспечивает хорошую скорость обучения.
В настоящей работе обучение проводилось на видеокарте GeForce GTX 1060, установленной на ноутбуке Asus FX502VM с CPU IntelCore i7-7700HQ, что обеспечило более чем двадцатикратный выигрыш по времени по сравнению с обучением на CPU. Контроль процесса обучения проводился с помощью инструмента TensorBoard, который позволяет визуализировать текущие точность и ошибку обучения.
Заключение
В результате проведенных исследований возможности применения глубоких нейронных сетей в задаче построения программных моделей сложных технологических объектов получены следующие результаты:
1. Разработана алгоритмическая структура модели обработки информации, поступающей из различных технологических зон единого многостадийного технологического процесса. В основе алгоритма содержится моделирование высокоуровневых абстракции в технологической информации, реализуемое глубокими нейронными сетями и использование выявляемых при этом скрытых закономерностей в информационном обеспечении АСУТП.
2. Приведены результаты модельного эксперимента по распознаванию агрегатного состояния алюминия на основе предложенного алгоритма. Входной информацией для работы алгоритма являлись изображения поверхности алюминиевых стержней в зоне плавки, поступающие от видеокамеры. Результаты показали, что алгоритм на основе сверточных сетей хорошо справляется с задачей классификации агрегатного состояния металла, за исключением небольших зон в областях перехода от одного класса к другому.
3. Предложен метод отслеживания динамики технологического процесса на основе формирования матрицы изменения значений на выходах сверточной сети, осуществляющей классификацию состояний технологического процесса и последующей ее визуализацией для распознавания выходной нейронной сетью.
Исследование вы/полнено при финансовой поддержке РФФИ в рамках научных проектов № 19-0100425 и № 18-29-24094.
Литература
1. Бобков В.И., Борисов В.В., Дли М.И., Мешалкин В.П. Термически активированные химические технологии Процессы агломерации фосфоритов // Теоретические основы химического машиностроения. 2018. Т. 52(1). С. 35-41.
2. Буткарев А.А., Буткарев А.П., Ащеулов В.Н., Жомирук П.А., Марыненко В.В. Пути повышения показателей работы первых в СССР обжиговых машин АО ССГПО // Сталь. 2008 № 5. С. 2-5.
3. Шолле Ф. Глубокое обучение на Python. СПб.: Питер, 2018. 400 с.
4. Sleep S., Gooner R, Hulland J. The Big Data Hierarchy: A Multi-stage Perspective on Implementing Big
Data // Let's Get Engaged! Crossing the Threshold of Marketing's Engagement Era: proceedings of the 2014 Academy of Marketing Science (Ams). 2016. 617 р.
5. Rohtt S. & Chakravarthy S. A convolutional neural network model of the neural responses of inferotemporal cortex to complex visual objects // BMC Neurosci. 2011. Vol. 12 (Suppl 1): P35. https://doi.org/10.1186/1471-2202-12-S1-P35.
6. Severyn A., Moschttti A. Twitter sentiment analysis with deep convolutional neural networks // ACM SIGIR Conference on Research and Development in Information Retrieval. 2015. P. 959-962.
Wang P, Xu J, Xu B, Liu C, Zhang H, Wang F Semantic clustering and convolutional neural network for short text categorization // 53rd Annual Meeting of the Association for Computational Linguistics and 7th International Joint Conference on Natural Language Processing. 2015. № 2. P. 352-357.
7. Ahlawat S, Batra V,, Banerjee S, Saha J,, Garg A.K. Hand Gesture Recognition Using Convolutional Neural Network // International Conference on Innovative Computing and Communications. 2018. № 56. P. 179-186.
8. Xiang, L., et al. Automatic vehicle identification in coating production line based on computer vision // International Conference on Computer Science and Engineering Technology. 2016. P. 260-267.
9. Chen H.T., et al. Multi-camera vehicle identification in tunnel surveillance system // IEEE International Conference on Multimedia & Expo Workshops. 2015. P. 1-6.
10. Young-Jin Cha, Wooram Choi Vision-Based Concrete Crack Detection Using a Convolutional Neural Network // Dynamics of Civil Structures. 2017. № 2. P. 71-73.
11. Frazao X., Alexandre L.A. Weighted Convolutional Neural Network Ensemble / Bayro-Corrochano E, Hancock E. (eds) Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications. 2014. № 8827.
12. Yingruo Fan, Jacqueiine C. K. LamVictor O. K. Li Multi-region Ensemble Convolutional Neural Network for Facial Expression Recognition / Kûrkovâ V,, Manolopoulos Y, Hammer B, Iiiadss L., Maglogiannis I (eds) Artificial Neural Networks and Machine Learning ICANN 2018. 2018. № 11139. P. 84-94.
13. KoriA., Soni M, Pranjal B., Khened M., Alex V., Krishnamurthi G. Ensemble of Fully Convolutional Neural Network for Brain Tumor Segmentation from Magnetic Resonance Images / BrainLes 2018: Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. 2019. № 11384. P. 485-496.
14. Koitka S, Friedrich C.M. Optimized Convolutional Neural Network Ensembles for Medical Subfigure Classification / Jones G. et al (eds) Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2017. Lecture Notes in Computer Scienc. 2017. № 10456. P. 57-68.
15. Kasnesis P., Patrikakis C.Z., Venieris I.S. PerceptionNet: A Deep Convolutional Neural Network for Late Sensor Fusion // Arai K, Kapoor S, Bhatia R. (eds) Intelligent Systems and Applications. IntelliSys 2018. Advances in Intelligent Systems and Computing. 2019. № 868. P. 101-119.
16. Шкундин С.З, Колистратов М.В., Белобокова Ю.А. Проверка работоспособности алгоритмов определения изменения агрегатного
состояния металла // Системный администратор. 2018. № 10(191) С. 90-93.
17. Котомин А.В. Предобработка звукового сигнала в системе распознавания речевых команд // Наукоёмкие информационные технологии. Тр. XV Молодежной научно-практической конференции SIT-2011. г. Переславль-Залесский: Ун-т города Переславля, 2011. С. 25-38.
18. Биккенин Р.Р, Чесноков М.Н. Теория электрической связи. М.: Изд. центр «Академия», 2010. 329 с.
19. Колистратов М.В., Белобокова Ю.А. Контроль фазового перехода металл-расплав // Новые информационные технологии в автоматизированных системах: материалы XXI научно-практического семинара. М.: ИПМ им. М.В. Келдыша, 2018. С. 46-50.
20. Жерон О. Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow: концепции, инструменты и техники для создания интеллектуальных систем М.: «Диалектика», 2018. 688 с.
References
1. Bobkov V.I, Borisov V.V, Dli M.I, Meshalkin V.P. Termicheski aktivirovannye himicheskie tekhnologii Processy aglomeracii fosforitov // Teoreticheskie osnovy himicheskogo mashinostroeniya. 2018. T. 52(1). S. 35-41.
2. ButkarevA.A., ButkarevA.P, Ashcheulov V.N, Zhomrruk P.A, Martynenko V. V. Puti povysheniya poka-zatelej raboty pervyh v SSSR obzhigovyh mashin AO SSGPO // Stal'. 2008 № 5. S. 2-5.
3. Sholle F. Glubokoe obuchenie na Python. SPb.: Piter, 2018. 400 s.
4. Sleep S, Gooner R, Hulland J. The Big Data Hierarchy: A Multi-stage Perspective on Implementing Big Data // Let's Get Engaged! Crossing the Threshold of Marketing's Engagement Era: proceedings of the 2014 Academy of Marketing Science (Ams). 2016. 617 р.
5. Rohit S. & Chakravarthy S. A convolutional neural network model of the neural responses of inferotemporal cortex to complex visual objects // BMC Neurosci. 2011. Vol. 12 (Suppl 1): P35. https://doi.org/10.1186/1471-2202-12-S1-P35.
6. Severyn A., Moschitti A. Twitter sentiment analysis with deep convolutional neural networks // ACM SIGIR Conference on Research and Development in Information Retrieval. 2015. P. 959-962.
Wang P, Xu J, Xu B, Liu C, Zhang H, Wang F Semantic clustering and convolutional neural network for short text categorization // 53rd Annual Meeting of the Association for Computational Linguistics and 7th International Joint Conference on Natural Language Processing. 2015. № 2. P. 352-357.
7. Ahlawat S, Batra V, Banerjee S, Saha J, Garg A.K. Hand Gesture Recognition Using Convolutional Neural Network // International Conference on Innovative Computing and Communications. 2018. № 56. P. 179-186.
8. Xiang, L, eta. Automatic vehicle identification in coating production line based on computer vision // International Conference on Computer Science and Engineering Technology. 2016. P. 260-267.
9. Chen H.T, et al Multi-camera vehicle identification in tunnel surveillance system // IEEE International Conference on Multimedia & Expo Workshops. 2015. P. 16.
10. Young-Jin Cha, Wooram Choi Vision-Based Concrete Crack Detection Using a Convolutional Neural Network // Dynamics of Civil Structures. 2017. № 2. P. 71-73.
11. Frazao X., Alexandre L.A. Weighted Convolutional Neural Network Ensemble / BBayro-Corrochano E, Hancock E (eds) Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications. 2014. № 8827.
12. Yingruo Fan, Jacqueiine C. K. LamVictor O. K. Li Multi-region Ensemble Convolutional Neural Network for Facial Expression Recognition / KQrkova V,, Manolopoulos Y, Hammer B, Iiiadis L., Maglogiannis I. (eds) Artificial Neural Networks and Machine Learning ICANN 2018.
2018. № 11139. P. 84-94.
13. KoriA., Soni M, Pranjal B, Khened M, Alex V., Krishnamurthi G. Ensemble of Fully Convolutional Neural Network for Brain Tumor Segmentation from Magnetic Resonance Images / BrainLes 2018: Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries.
2019. № 11384. P. 485-496.
14. Kottka S, Friedrich C.M. Optimized Convolutional Neural Network Ensembles for Medical Subfigure Classification / Jones G. et al. (eds) Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2017. Lecture Notes in Computer Scienc. 2017. № 10456. P. 5768.
15. Kasnesis P., Patrikakis C.Z., Venieris I.S. Per-ceptionNet: A Deep Convolutional Neural Network for Late
Sensor Fusion // Arai K., Kapoor S., Bhatia R. (eds) Intelligent Systems and Applications. IntelliSys 2018. Advances in Intelligent Systems and Computing. 2019. № 868. P. 101-119.Shkundin S.Z., Kolistratov M.V., Belobokova Yu.A. Testing the performance of algorithms for determining changes in the aggregate state of the metal // System Administrator. - 2018. - №10 (191) - P. 90-93.
16. Shkundin S.Z., Kolistratov M. V., Belobokova Yu.A. Proverka rabotosposobnosti algoritmov opredeleni-ya izmeneniya agregatnogo sostoyaniya metalla // Sis-temnyj administrator. 2018. № 10(191) S. 90-93.
17. Kotomin A.V. Predobrabotka zvukovogo signala v sisteme raspoznavaniya rechevyh komand // Nau-koyomkie informacionnye tekhnologii. Tr. XV Molodezh-noj nauchno-prakticheskoj konferencii SIT-2011. g. Pereslavl'-Zalesskij: Un-t goroda Pereslavlya, 2011. S. 25-38.
18. Bikkenin R.R., Chesnokov M.N. Teoriya el-ektricheskoj svyazi. M.: Izd. centr «Akademiya», 2010. 329 s.
19. Kolistratov M.V., Belobokova Yu.A. Kontrol' fazovogo perekhoda metall-rasplav // Novye informacionnye tekhnologii v avtomatizirovannyh sistemah: materialy XXI nauchno-prakticheskogo seminara. M.: IPM im. M.V. Keldysha, 2018. S. 46-50.
20. Zheron O. Prikladnoe mashinnoe obuchenie s pomoshch'yu Scikit-Learn i TensorFlow: koncepcii, in-strumenty i tekhniki dlya sozdaniya intellektual'nyh sis-tem M.: «Dialektika», 2018. 688 s.
Сведения об авторах:
Пучков Андрей Юрьевич, канд. техн. наук, доцент; Andrey Yu. Puchkov, Ph.D. (Eng.), e-mail: putchkov63@mail.ru. Дли Максим Иосифович, д-р техн. наук, профессор; Maksim I. Dli, Dr Sci (Eng.), Professor, e-mail: MiDli@mail.ru Лобанева Екатерина Ивановна, аспирант; Ekaterina I. Lobaneva, postgraduate, e-mail: lobaneva94@mail.ru
