CC BY
6
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
Научная статья УДК 004.08:519.246.8
http://dx.doi.org/10.17213/1560-3644-2024-1-19-26
К вопросу о выборе искусственных нейронных сетей для обнаружения и идентификации классов ситуаций
во временных рядах
В.А. Мохов1, Б.А. Изофатов2
1Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия, 2Общество с ограниченной ответственностью «Альтаир», г. Новочеркасск, Россия
Аннотация. Исследована применимость нейронных сетей U-Net и Deep SAD для задачи обнаружения и идентификации заданных классов ситуаций во временных рядах. Для сети Deep SAD выполнена модификация - стандартный блок автоэнкодера заменен блоком Transformer, который включает механизмы самовнимания, а также позволяет применять минимаксную стратегию для усиления различия между классами ситуаций. Использован подход на основе глубокого машинного обучения. Исследована архитектура нейросетей U-Net и Deep SAD. В качестве базы для обучения моделей созданы наборы данных для транспортных средств, при эксплуатации которых экспертным путём были установлены ситуации сливов топлива. Структура данных представляет многомерный временной ряд, содержащий информацию об изменении данных по трём каналам - скорости движения, уровня топлива в баке и напряжения бортовой сети транспортного средства для каждого временного отсчёта. Обученные модели показали разный уровень распознавания и идентификации ситуаций. Deep SAD продемонстрировала лучшие результаты. Полученный результат может быть применен в практике мониторинга транспортных средств для обнаружения и идентификации нарушений и ситуаций несанкционированных действий со стороны водителей.
Ключевые слова: временные ряды, глубокое обучение, нейронные сети, U-Net, Deep SAD, сливы топлива
Благодарности: исследование выполнено при финансовой поддержке Фонда содействия инновациям в рамках проекта ЦТ-219940.
Для цитирования: Мохов В.А., Изофатов Б.А. К вопросу о выборе искусственных нейронных сетей для обнаружения и идентификации классов ситуаций во временных рядах // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2024. № 1. С. 19-26. http://dx.doi.org/10.17213/1560-3644-2024-1-19-26.
Original article
On the question about neural network selection for detection and identification situations classes in time series
V.A. Mokhov1, B.A. Izofatov2
1Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia, 2Limited Liability Company «Altair», Novocherkassk, Russia
Abstract. The applicability of U-Net and Deep SAD neural networks for the task of detecting and identifying specified classes of situations in time series is investigated. A modification was made for the Deep SAD network - the standard autoencoder block was replaced by the Transformer block, which includes self-awareness mechanisms, and also allows you to apply a minimax strategy to enhance the difference between classes of situations. An approach based on deep machine learning was used. The architecture of the U-Net and Deep SAD neural networks has been studied. As a base for training models, data sets have been created for vehicles, during the operation of which fuel drain situations have been established by expert means. The data structure represents a multidimensional time series containing information about changes in data over three channels - driving speed, fuel level in the tank and voltage of the vehicle's on-board network for each time frame. Main results. The trained models showed different levels of recognition and identification of situations. Deep SAD has demonstrated the best results.
© Мохов В.А., Изофатов Б.А., 2024
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
Keywords: time series, deep learning, neural networks, U-Net, Deep SAD, fuel drains
Acknowledgments: the study was carried out with the financial support of the Innovation Promotion Fund within the framework of the CT-219940 project.
For citation: Mokhov V.A., Izofatov B.A. On the question about neural network selection for detection and identification situations classes in time series. Izv. vuzov. Sev.-Kavk. region. Techn. nauki=Bulletin of Higher Educational Institutions. North Caucasus Region. Technical Sciences. 2024;(1):19-26. (In Russ.). http://dx.doi.org/10.17213/1560-3644-2024-1-19-26.
Введение
Современные инструменты мониторинга позволяют перевозчикам на постоянной основе контролировать автотранспортные средства с целью выявления нарушений и несанкционированных действий со стороны водителей (сливы топлива, превышение скоростных ограничений и т.п.). Для этого к бортовому оборудованию подключаются различные дополнительные устройства: датчики уровня топлива, напряжения бортовой сети, температурные датчики и другие. Через навигационные средства слежения ГЛОНАСС/С^" результаты измерений регулярно передаются на телематический сервер, принимающий данные с транспортных средств. Перевозчик может наблюдать за ситуацией изменения поступающих показаний, имея доступ к соответствующему программному обеспечению.
В рамках ранее выполненного авторами этапа исследований сформулирована следующая задача обнаружения и идентификации классов ситуаций во временных рядах для решения на основе применения технологии искусственных нейронных сетей (ИНС).
Имеется исходный многомерный временной ряд, содержащий информацию об изменении данных по трём каналам - для каждого временного отсчёта (£■) выполняется измерение: скорости (5) движения транспортного средства (канал 1), уровня топлива в топливном баке (у) (канал 2), напряжения (и) бортовой сети (канал 3).
Длительность временного интервала, описываемого временным рядом, фиксирована (например, неделя). Такой временной ряд описывает эксплуатацию транспортного средства в различных ситуациях: нормальный режим эксплуатации (движение с остановками), заправка топливного бака, стоянка, слив топлива. При этом доступны наборы из временных рядов указанного вида, характеризующих разные транспортные средства.
Ключевая задача заключается в распознавании перевозчиком ситуаций слива топлива для последующего расчёта их параметров и подготовки соответствующих заключений.
Актуальность и проблематика вопроса
Изначально предполагалось решение указанной задачи, как задачи семантической сегментации временного ряда. Для отдельно взятого транспортного средства из больших объемов исходной информации должны быть выделены ключевые характеристики временного ряда в более компактной форме. В частности, планировалось:
- разделить ряд на сегменты, соответствующие различным ситуациям (определить их границы в пределах ряда);
- соотнести каждый полученный сегмент с определённым классом ситуаций эксплуатации транспортного средства.
На основе анализа публикаций в качестве инструмента решения задачи в такой постановке была выбрана ИНС типа и-Ые1, относящаяся к классу свёрточных сетей, и позволяющая выполнять плотную сегментацию (классифицировать каждую точку) данных временных рядов на основе контролируемого обучения (обучения с учителем).
Однако проведенные эксперименты с ИНС типа и-Ые1 (её вариантами и наследниками, адаптированными к работе с временными рядами) позволили получить весьма противоречивые результаты:
1. ИНС типа и-Ие1 эффективно справлялась с задачей распознавания ситуаций, для которых имелось достаточное число элементов в обучающих выборках. В ходе экспериментов достоверность распознавания этих ситуаций была достигнута на уровне 97-99 %.
2. Распознавание ситуаций, для которых имелось недостаточное число элементов в обучающих выборках выполнялось плохо - на уровне 1-2 %.
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
Такие результаты подтверждаются анализом матрицы ошибок (матрицы запутанности) [1] для варианта модели U-Net, с которым проводились эксперименты. При этом в исследованиях использовалась программная реализация Unet_224 [2, 3] на основе библиотек Keras 2.1 и Tensorflow 1.4. Конфигурация данной сети включает: 5 свёрточных слоёв с начальным размером окна на 224 временные единицы по трем каналам и 5 слоев максимального объединения. Декодер сети содержит соответствующее число слоев конкатенации и обратной свертки. Кодировщик и декодер соединены «мостовым» слоем. Выходной блок включает слой одномерной свертки с исходным размером окна 224 единицы и слой активации.
Для обучения и тестирования сети были сформированы наборы данных (датасеты) для ряда транспортных средств, при эксплуатации которых экспертным путём установлены факты сливов топлива.
Наборы данных для обучения:
- количество наборов данных 6;
- размерность обучающих выборок варьируется от 102470 до 186090 точек наблюдений по 3 каналам данных (s, v, u);
- число коллективных аномалий (фактов сливов топлива) 15.
Набор данных для тестирования:
- размерность тестируемой выборки 9590 точек наблюдений по 3 каналам данных (s, v, u);
- число коллективных аномалий (фактов сливов топлива) 2.
Для обучения сети использовалась следующая конфигурация параметров:
- формат представления данных - табличный;
- размер временного окна 224 единицы;
- размер мини-пакета 32 единицы;
- количество эпох 30;
- оптимизатор Adam;
- функция ошибки категориальная кросс-энтропийная функция потерь;
- метрика Accuracy.
Диаграмма матрицы ошибок (confusion matrix) для обученной сети Unet_224 представлена на рис. 1, а оценки по метрикам - на рис. 2.
Значения метрики IoU (Intersection over Union) [4], используемой для оценки производительности обнаружения объектов по каждому классу (рис. 2), указывают на то, что ситуации слива топлива по факту не распознаны (0,02) -
они практически растворились в большом количестве данных о ситуациях нормальных режимов эксплуатации (которые распознаются более чем на 99 %). Также это подтверждает метрика AUC-ROC (рис. 2).
Рис. 1. Матрица ошибок
Fig. 1. Confusion matrix +-----------^---------------+
I Metrics I Values
I ion class I [0.99, 0.02]
+-----------i---------------+
I iou mean | 0.50
auc-rac I 0.50 +-----------^-------
accuracy | 0.99 +-----------i-------
I
----+
I
----+
Рис. 2. Значения оценок по метрикам Fig. 2. Values of estimates by metrics
Визуализация результата работы обученной Unet_224 на тестовой выборке с помощью кривой ошибок ROC (receiver operating characteristic) [5] в границах [0, 1] (рис. 3) и расчётная оценка качества работы сети AUC (area under the curve) (рис. 2), равная 0,50, указывают на практически случайно выдаваемые нейронной сетью результаты.
Рис. 3. Кривая ошибок AUC-ROC для обученной Unet_224
Fig. 3. AUC-ROC error curve for the trained Unet_224
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
При этом значение метрики accuracy -доли правильных ответов алгоритма [6] (рис. 1) 0,99 показывает якобы абсолютно верную работу сети.
Столь противоречивые данные также подтвердили существенное влияние несбалансированности обучающей выборки на результаты обучения ИНС, а последовавший далее анализ остальных имеющихся в распоряжении датасе-тов, характеризующих работу транспортных средств, для которых установлены факты слива, позволил выявить закономерную недостаточность в их составе числа элементов, соответствующих именно ситуациям слива (менее 1 %). Последнее указывало на необходимость переформулирования задачи обнаружения и идентификации ситуаций, описывающих эксплуатацию транспортных средств, и, соответственно, выбрать иной тип ИНС для её решения.
Новая постановка задачи
Низкий процент элементов, соответствующих ситуациям, которые важно и необходимо распознать, указывает на необходимость использования подхода обнаружения аномалий (AD) [7] - задачу идентификации необычных элементов, значительно отличающихся от большинства элементов в датасетах. Очевидно, что здесь невозможно поставить цель для выполнения контролируемого обучения (обучения с учителем) из-за того, что распознаваемые ситуации в датасетах практически не представлены (представлены числом элементов, составляющих менее 1 % от всех элементов).
Определяющим фактором при выборе AD для идентификации таких ситуаций является то, что в приложениях, построенных на основе AD, пользователю наравне с немаркированными данными датасетов в дополнение предоставляется возможность доступа к некоторым проверенным (помеченным) нормальным и/или аномальным их элементам. В этом направлении наиболее перспективным является развитие и адаптация модели глубокого полуконтролируемого обнаружения аномалий Deep SAD [8], которая является обобщением модели неконтролируемого глубокого описания опорных векторов Deep SVDD (разработанного несколько ранее) [9] для включения помеченных данных.
Таким образом, новая постановка задачи обнаружения и идентификации классов ситуаций эксплуатации транспортных средств во временных рядах ориентирована на использование
ИНС с полуконтролируемым обучением для обнаружения аномалий (ситуаций слива).
Теоретическая часть
Обобщение Deep SAD относительно модели Deep SVDD заключается в формализации теоретико-информационного подхода к обнаружению аномалий [8]. При этом в основе базовой архитектуры Deep SAD лежит модель Deep SVDD с классическим автоэнкодером (рис. 4).
Рис. 4. Архитектура Deep SVDD Fig. 4. Deep SVDD Architecture
Идея Deep SVDD заключается в использовании преобразования ф( ; W) с весами W для данных из входного пространства X £ Rd, которое минимизирует объем гиперсферы с радиусом r, содержащей данные в выходном пространстве F £ Rp с центром в точке с.
Цель Deep SVDD для выборки с n элементами xi,..., Xn 6 X, X£ Rd одного класса определяется так:
а
min -) ||ф(^;Ж)-с||2+ -w nZ—i 2
2
i=i
L
2^11 II F' 1=1
А > 0,
где первое слагаемое - это модель SVDD, которая штрафует за среднеквадратичное расстояние точек до центра гиперсферы (так извлекаются наиболее стабильные факторы из набора данных); второе слагаемое - регуляризатор затуха-
II /1|2
ния для весов сети; А - гиперпараметр; IIЖ1 II -
II 11^
норма Фробениуса (или Евклидова норма).
Используя теоретико-информационный подход, перейдём от задачи минимизации объема гиперсферы к минимизации энтропии по скрытому распределению, полагая, что известные данные положительного класса имеют низкую энтропию скрытого распределения (аномальные данные при этом будут иметь высокую энтропию).
Пусть имеется набор данных с п немаркированными образцами XI,..., Хп 6 X, X £ и с малым числом т маркированных образцов аномалий (Х1,У1), ... , (хт,Ут) 6 1хУ. У = {-1, +1}.
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
Обозначим через y = +1 неизвестные нормальные примеры, а через у = -1 - известные аномалии. Тогда цель Deep SAD определяется так: п
1 -У||ф(^;Ж)-с||2
i ¿—I
min —
w п + т<
+
(=1
+ -
П
п + т
(Xj:w)-c\\2fJ +
(1)
]=i
L
+ S
г=1
W1
If'
где п - гиперпараметр баланса между маркированными и немаркированными данными; второе (штрафное) слагаемое - указывает на то, что аномалии должны быть дальше от центра гиперсферы (штрафует за низкую дисперсию).
Выбор модели ИНС и её адаптация для программной реализации
С целью повышения эффективности обнаружения аномалий при помощи нейросетевой модели на программном уровне вместо автоэн-кодера возможно использование некоторых его альтернатив:
1) Temporal Convolutional Network (TCN)
[10];
2) Neural Transformation Learning for Anomaly Detection (NeuTraL AD) [11];
3) Transformer Network (Transformer) [12].
При этом Transformer, имея отличную от
остальных сетей архитектуру, выполняет ту же функцию автоэнкодера, что и Deep SVDD. При этом архитектура Transformer ориентирована на
более глубокое изучение структур данных за счёт использования двух связей типа Prior-Association и Series-Association (рис. 5) [13].
Основная идея Transformer заключается в следующем:
1) кодировщик интерпретирует входные данные в скрытые векторы, которые хранят в себе информацию о контексте входных данных;
2) декодировщик декодирует скрытую информацию в векторное представление специального вида (embedding), по которому формируется итоговый результат с помощью вероятностной модели.
Главное отличие архитектуры Transformer от базовой архитектуры (1), заключается в её обновлении с помощью двухветвевой структуры Anomaly-Attention, которая может моделировать предварительную ассоциацию и серийную ассоциацию одновременно. То есть в структуре Anomaly-Attention формируется критерий, позволяющий количественно определить расстояние между предварительной ассоциацией каждой временной точки и её серийной ассоциацией, что, в свою очередь, является ключевым моментом к неконтролируемому обнаружению аномалий во временных рядах.
Важно отметить, что в кодировщике (блок Encoder на рис. 5) у Transformer выполняется не только моделирование предварительной и серийной ассоциаций для каждой точки с вычислением расстояния (несоответствия) между ними по количественному критерию, но и применение минимаксной стратегии для усиления различия между нормальными состояниями и аномалиями в данных.
Рис. 5. Архитектура Transformer Network Fig. 5. Transformer Network Architecture
m
2
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
Поэтому в Transformer Network данный блок определяется как блок внимания и характеризуется следующими параметрами и характеристиками:
- Q, K, V, о - параметры позиционирования объекта в исходных данных и параметр дисперсии о для начальной инициализации предварительных ассоциаций;
- Prior-Association - ряд действий для инициализации и получения предварительных ассоциаций;
- Series-Association - ряд действий для инициализации и получения серийных ассоциаций (из необработанных рядов);
- Stop-Gradient - механизм остановки градиента (ограничивает предварительные и серийные ассоциации для выявления более явного расхождения между ними);
- Reconstruction - механизм формирования выходного векторного представления (embedding).
Декодер (блок Decoder на рис. 5) в Transformer представляет собой блок реконструкции выходного векторного представления (embedding) из Encoder. Блок реконструкции включает:
- Sum - механизм формирования позиционных векторов для информации о позиции элемента в исходной последовательности;
- Layer Norm - слой нормализации выходных данных;
- Feed Forward - полносвязную сеть.
На основании вышеизложенного для решения задачи обнаружения и идентификации классов рассмотренных аномальных ситуаций эксплуатации транспортных средств во временных рядах была выбрана модель ИНС Deep SAD, у которой блок автоэнкодера был заменен на вышеописанные блок Transformer.
Постановка и проведение экспериментов
Данные, подлежащие обработке, регулярно поступают и накапливаются на специализированном сервере сбора статистики. По каждому объекту (транспортному средству) выполняется выборка данных с сервера за временной период длительностью 3 месяца (90 дней).
С одной стороны, такой объём данных позволяет оперативно обрабатывать их на базе архитектуры современного персонального компьютера со следующими характеристиками:
- тип ЦП - QuadCore Intel Core i5-4570 (343 МГц);
- системная плата - ASRock B85M-ITX;
- чипсет системной платы - Intel Lynx Point B85, Intel Haswell;
- оперативная память - 16304 Мб (DDR3);
- видеоадаптер - NVIDIA GeForce RTX 3080 (10 ГБ);
- операционная система - Ubuntu 20.04.
С другой стороны, полученный объём
данных является минимально-необходимым для использования его в качестве репрезентативной выборки при последующей обработке (установлено экспериментально).
Данные, как было отмечено ранее, представляют собой многомерный временной ряд, содержащий информацию об изменении данных по трём каналам (скорость движения, уровень топлива в баке, напряжение бортовой сети) для каждого временного отсчёта в течение заданного временного периода.
Обучение ИНС выполняется на основе стандартного алгоритма обратного распространения ошибки. В экспериментах использовалась версия данного алгоритма из открытой библиотеки PyTorch.
Обучение нейронной сети Deep SAD с блоком Transformer выполнено на основе тех же датасетов, которые использовались при обучении сети Unet_224 (см. выше). Для формирования данных, подаваемых на вход сети, применялся метод скользящего окна. В качестве временного окна определён интервал из 128 временных точек, содержащий набор данных (по трём каналам), которые использовались для формирования обучающего примера. В процессе работы алгоритма окно смещалось по временной последовательности из датасетов на 3 единицы наблюдения, и каждое положение окна использовалось как очередной обучающий пример.
Анализ полученных результатов
Для возможности показательного сравнения результатов обучения сети Deep SAD с блоком Transformer, полученных в ходе экспериментов, с ранее рассмотренными результатами на базе Unet_224 использована расчетная метрика AUC-ROC (равная 0,77), а также ее график (рис. 6).
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
AUC ROC
--ROC-AUC (area
Г
0.0 0.2 0,4 0.6 0.8 П.0
Рис. 6. Кривая ошибок AUC-ROC для обученной сети Deep SAD с блоком Transformer Fig. 6. AUC-ROC error curve for a trained Deep SAD network with a Transformer block
Очевидно, что первоначальный уровень распознавания ситуаций слива топлива был улучшен более чем на 25 % и в дальнейшем (при эксплуатации сети Deep SAD) он будет повышаться, но уже в ходе дообучения без контроля.
Заключение
Применение нейронной сети глубокого полуконтролируемого обнаружения аномалий взамен классифицирующей нейросети с плотной сегментацией для распознавания ситуаций слива топлива показало, очевидно, лучшие результаты. Однако расчётную оценку качества работы сети Deep SAD для применения на реальных данных желательно иметь выше.
Результаты ряда последних исследований [14, 15] свидетельствуют о том, что продекларирован возможный вариант повышения качества работы сетей с данными временных рядов на основе перехода от представления обучающих примеров в табличной форме к их представлению в виде графических изображений, например угловых полей Грамиана. В связи с этим соответствующие исследования и эксперименты с модифицированной сетью Deep SAD, а также другими глубокими моделями нейронных сетей будут продолжены.
Список источников
1. Вичугова А. Как оценить стоимость прогноза Machine Learning и не только: строим confusion matrix [Электронный ресурс] // Школа больших данных, 17 января 2023, URL: https:// bigdataschool.ru/blog/machine-learning-confusion-matrix.html (дата обращения 01.12.2023)
2. ZF_UNET_224 Pretrained Model. Modification of convolutional neural net "UNET" for image segmentation in Keras framework [Электронный ресурс], URL: https://github.com/ZFTurbo/ZF_UNET_224_Pretrained_ Model (дата обращения 01.12.2023)
3. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015. Р. 234 - 241.
4. RosebrockA. Intersection over Union (IoU) for object detection [Электронный ресурс] // Pyimagesearch, April 30, 2022, URL: https://pyimagesearch.com/ 2016/11/07/intersection-over-union-iou-for-object-detection/ (дата обращения 01.12.2023)
5. Дьяконов А. AUC ROC (площадь под кривой ошибок) [Электронный ресурс] // Анализ малых данных, 28 июля 2017, URL: https://alexanderd yakonov.wordpress.com/2017/07/28/auc-roc-площадь-под-кривой-ошибок/ (дата обращения 01.12.2023)
6. Лабинцев Е. Метрики в задачах машинного обучения [Электронный ресурс] // Хабр, 12 мая 2017, URL: https://habr.com/ru/companies/ods/articles/328372/ (дата обращения 01.12.2023)
7. Chandola V., Banerjee A., and Kumar V. Anomaly Detection: A Survey. ACM Computing Surveys, 2009. 41(3): 1-58.
8. Ruff L. [et al.] Deep semi-supervised anomaly detection //arXiv preprint arXiv:1906.02694. 2019.
9. Ruff L. [et al.] Deep one-class classification // International conference on machine learning. PMLR, 2018. P. 4393-4402.
10. Bai S., Kolter J. Z., Koltun V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling // arXiv preprint arXiv: 1803.01271. 2018.
11. Qiu C. [et al.] Raising the bar in graph-level anomaly detection // arXiv preprint arXiv:2205.13845. 2022.
12. Tuli S., Casale G., Jennings N. R. Tranad: Deep transformer networks for anomaly detection in multivariate time series data // arXiv preprint arXiv:2201.07284. 2022.
13. Xu J. [et al.] Anomaly transformer: Time series anomaly detection with association discrepancy // arXiv preprint arXiv:2110.02642. 2021.
14. Saf A. A. [et al.] Multivariate time series as images: Imputation using convolutional denoising autoencoder //Advances in Intelligent Data Analysis XVIII: 18th International Symposium on Intelligent Data Analysis, IDA 2020, Konstanz, Germany, April 27-29, 2020, Proceedings 18. Springer International Publishing, 2020. P. 1-13.
15. Yang C. L., Chen Z. X., Yang C. Y. Sensor classification using convolutional neural network by encoding multivariate time series as two-dimensional colored images. // Sensors. 2019. Vol. 20, №. 1. 168 р.
ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 1
References
1. Vichugova A. How to estimate the cost of the Machine Learning forecast and not only: building the confusion matrix. School of Big Data, January 17, 2023. Available at: https://bigdataschool.ru/blog/machine-learning-confusion-matrix.html (accessed 12.01.2023)
2. ZF_UNET_224 Pretrained Model. Modification of convolutional neural net "UNET" for image segmentation in Keras framework. Available at: https://github.com/ZFTurbo/ZF_UNET_224_Pretrained _Model (accessed 12.01.2023)
3. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015: 18th International Conference. Munich, Germany. October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015. P. 234-241.
4. Rosebrock A. Intersection over Union (IoU) for object detection [Electronic resource]. Pyimagesearch. April 30, 2022. Available at:https://pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/ (accessed 12.01.2023)
5. Dyakonov A. AUC AUC (area under the error curve) [Electronic resource]. Small data analysis, July 28, 2017. Available at: https://alexanderdyakonov.wordpress.com/2017/07/28/auc-roc-nno^agt-nog-KpHBOH-omH6oK / (accessed 12.01.2023)
6. Labyntsev E. Metrics in machine learning tasks [Electronic resource]. Habr, May 12, 2017. Available at: https://habr.com/ru/companies/ods/articles/328372 / (accessed 12.01.2023)
7. Chandola V., Banerjee A., Kumar V. Anomaly Detection: A Survey. ACM Computing Surveys.2009;41(3): 1-58.
8. Ruff L. et al. Deep semi-supervised anomaly detection. arXiv preprint arXiv:1906.02694.2019.
9.Ruff L. et al. Deep one-class classification. International conference on machine learning. PMLR. 2018. P. 4393-4402.
10. Bai S., Kolter J. Z., Koltun V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling. arXiv preprint arXiv:1803.01271. 2018.
11. Qiu C. et al. Raising the bar in graph-level anomaly detection. arXiv preprint arXiv:2205.13845.2022.
12. Tuli S., Casale G., Jennings N. R. Tranad: Deep transformer networks for anomaly detection in multivariate time series data. arXiv preprint arXiv:2201.07284. 2022.
13. Xu J. et al. Anomaly transformer: Time series anomaly detection with association discrepancy. arXiv preprint arXiv:2110.02642. 2021.
14. Safi A.A. et al. Multivariate time series as images: Imputation using convolutional denoising autoencoder. Advances in Intelligent Data Analysis XVIII: 18th International Symposium on Intelligent Data Analysis. IDA 2020, Konstanz, Germany, April 27-29, 2020, Proceedings 18. Springer International Publishing, 2020. P. 1-13.
15. Yang C.L., Chen Z.X. & Yang C.Y. Sensor classification using convolutional neural network by encoding multivariate time series as two-dimensional colored images. Sensors. 2019;20(1):168.
Сведения об авторах
Мохов Василий Александровичя- канд. техн. наук, доцент, кафедра «Программное обеспечение вычислительной техники», [email protected]
Изофатов Борис Андреевич - инженер, [email protected]
Information about the authors
Vastly A. Mokhov - Cand. Sci. (Eng.), Associate Professor, Department «Software Computer Engineering», [email protected]
Boris A. Izofatov - Engineer, [email protected]
Статья поступила в редакцию / the article was submitted 21.12.2023; одобрена после рецензирования / approved after reviewing 10.01.2024; принята к публикации / accepted for publication 15.01.2024.
