CC BY
6УДК 004.032.26
doi:10.18720/SPBPU/2/id24-193
Калашов Олег Евгеньевич 1, д-р физ.-мат. наук;
Потехин Вячеслав Витальевич 2, канд. техн. наук, доцент;
Старостенко Анастасия Андреевна 3,
студент;
Старостенко Дмитрий Андреевич 4,
студент
ПРИМЕНЕНИЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ В АКУСТИЧЕСКОМ МОНИТОРИНГЕ ПРОМЫШЛЕННЫХ ОБЪЕКТОВ
1 Россия, Долгопрудный, Московская область, ФГАОУ ВО «Московский физико-технический институт», kalashev@t8.ru;
2; 3 4 Россия, Санкт-Петербург, Санкт-Петербургский политехнический
университет Петра Великого;
2 slava.potekhin@spbstu.ru, 3 starostenkonastya2001@mail.ru, 4 dstarostenko@yandex.ru
Аннотация. В статье рассматривается задача идентификации событий, происходящих рядом с распределенным акустическим сенсором «Дунай», служащим для охраны периметра. Исходный сигнал, полученный от 50 тысяч точечных микрофонов, имеет частоту дискретизации порядка 1 кГц, что соответствует общему потоку данных около 1 Гбит в секунду. Для обработки такого объема данных применяется метод сжатия сигнала с применением частотных фильтров. На основе полученного сигнала строится «водопад» (движущееся цветное изображение). Показано, что задача идентификации событий может быть решена стандартными методами компьютерного зрения, такими как сверточные нейронные сети. В частности, разработана нейронная сеть, позволяющая отличить такие типы акустических сигналов, как шаги человека, ручная копка и шаги животных и т. п.
Ключевые слова: система мониторинга, распределенный акустический сенсор DAS, сверточные нейронные сети, CNN, задача классификации.
Oleg E. Kalashov \
Doctor of Physical and Mathematical Sciences;
Vyacheslav V. Potekhin 2, Candidate of Technical Sciences, Associate Professor;
Anastasiya A. Starostenko 3,
Student;
Dmitriy A. Starostenko 4,
Student
CONVOLUTIONAL NEURAL NETWORKS APPLICATION
IN ACOUSTIC MONITORING OF INDUSTRIAL OBJECTS
1 Moscow Institute of Physics and Technology, Dolgoprudny, Moscow region, Russia, kalashev@t8.ru;
2; 3 4 Peter the Great St. Petersburg Polytechnic University,
St. Petersburg, Russia; 2 slava.potekhin@spbstu.ru, 3 starostenkonastya2001@mail.ru, 4 dstarostenko@yandex.ru
Abstract. The article shows the problem of identifying events occurring near the distributed acoustic sensor "Danube" which serves to protect the perimeter. The initial signal received from 50 thousand point microphones has a sampling frequency of about 1 kHz which corresponds to a total data flow of about 1 Gbit per second. To process such a big volume of data, a signal compression method using frequency filters is used. Based on the received signal, a "waterfall" (a moving colour image) is constructed. It is shown that the problem of event identification can be solved by standard computer vision methods, such as convolutional neural networks (CNN). In particular, a neural network has been developed that allows distinguishing such types of structure-borne signals as human steps, hand digging and animal steps, etc.
Keywords: monitoring system, distributed acoustic sensor DAS, convolutional neural network, CNN, classification analysis.
Введение
Защита и контроль периметра объектов является важной задачей для обеспечения его безопасности. Входы/выходы в здания, трубопроводы, места хранения материальных ценностей, автостоянки, аэропорты должны быть в безопасности для предотвращения проникновения посторонних лиц на территорию. В связи с этим особую значимость приобретает задача охрана своевременно реагировать на соответствующие нарушения и обеспечить защиту от проникновения и попыток проникновения на охраняемый объект.
1. Постановка задачи
Для решения проблемы своевременного реагирования необходима система мониторинга, работающая в удаленном режиме, что повышает безопасность объекта и ускоряет время реагирования на инциденты.
1.1. Описание предметной области
Одним из самых популярных решений является контроль территории с использованием настройки локальных тревог. Она решает следующие задачи: минимизация риска несанкционированного нарушения границ периметра людьми, транспортом, животными; полный контроль за состоянием периметра и всеми точками доступа; своевременное оповещение о попытках противоправных действий по нарушению границ.
2. Система мониторинга
Распределенный акустический сенсор (англ. distributed acoustic sensor, DAS) обнаруживает акустические колебания в грунте на расстоянии до нескольких десятков километров и осуществляет непрерывный мониторинг виброакустических событий вдоль оптического кабеля. Чувствительный элемент в нем это одномодовое волокно, к которому подключен программно-аппаратный комплекс и блок управления [3]. Работа основана на принципе когерентной рефлектометрии [5]. В волокно периодически генерируется подача светового пучка. При распространении импульса часть света рассеивается на неоднородностях волокна и распространяется в обратном направлении. При микродеформациях волокна, вызванных виброакустическими воздействиями, параметры рассеянного отраженного сигнала изменяются. Анализируя изменения в идущей и отраженной волне сигнала обратного рассеяния, можно определить место и характер воздействия на волокно. Эта задача решается с помощью отечественного программно-аппаратного комплекса (ПАК) «Дунай». Результатом измерений прибора является временная развертка акустических колебаний в десятках тысяч точек вдоль оптоволокна. Задача, которая решается в данной работе, — идентифицировать характер события, происходящего рядом с акустическим сенсором по данным временных разверток [7].
2.1. Методы и технологии
Исходный сигнал представляет собой набор 2 байтовых показаний порядка 50 тысяч точечных микрофонов, расположенных вдоль акустического сенсора. Каждый микрофон выдает сигнал с частотой дискретизации порядка 1 кГц, что соответствует общему потоку данных около 1 Гбита в секунду. Обработка такого потока данных занимала бы слишком много вычислительных ресурсов, поэтому сигнал предварительно сжимается с помощью трехчастотных фильтров с последующим прореживанием до частоты 20 Гц. На выходе после фильтров мы имеем поток данных в трех каналах, соответствующих частотным диапазонам от 4 до 10 Гц, от 20 до 40 Гц, от 60 до 150 Гц с исходной частотой дискретизации по длине 1.6 метра на измерение. Такой сигнал можно интерпрети-
ровать как движущиеся цветное изображение «водопад». Решать задачу классификации воздействий предлагается с помощью сверточных нейронных сетей, на вход которым подаются прямоугольные фрагменты «водопада». В качестве базовой архитектуры для извлечения признаков изображения применяется модель EfficientNetB4 [4]. Извлеченные признаки пропускаются через один-два полносвязных слоя, число нейронов в которых мы считаем свободными гиперпараметрами модели. Большая часть изображения, на которой ничего не происходит, должна классифицироваться нейронной сетью как фон. Фрагменты «водопада», на которых в центре видны следы воздействий, должны классифицироваться как соответствующие воздействия.
Для обучения нейронной сети необходим набор размеченных примеров [2, 6]. Компания Т8 Сенсор, производитель ПАК «Дунай» предоставила набор из около 100 тысяч фрагментов записей размером 64х96 пикселей со следующими типами воздействий в примерно равных пропорциях: шаги человека, ручная копка, шаги парнокопытных животных и фоновые шумы. Данные предоставлены в формате 'ЪёР, позволяющим хранить многомерные массивы вместе с разметкой. Характерные примеры сигналограммы изображены на рисунке 1 .
human_digg human_step
О 20 40 60 80 о 20 40 60 ВО 0 20 40 60 80
Рис. 1. Характерные примеры сигналов копки, шагов человека и парнокопытных животных (слева направо)
Набор данных поделен в пропорции 70 : 15 : 15 на тренировочную, валидационную и тестовую выборки. Метрики на валидационной выборке использовалась для подбора гиперпараметров моделей и в качестве критерия ранней остановки обучения. Нейросетевые модели обучались на протяжении не более 100 эпох. Для обучения использовалась популярная разновидность статистического градиентного спуска Adam, основанная на адаптивной оценке моментов первого и второго порядка [1]. Начальный шаг и темп его уменьшения по мере обучения были одними из гиперпараметров. Точность на валидационном наборе, как правило выходила на плато после нескольких десятков эпох (рис. 2).
Рис. 2. Графики точности и потерь
Алгоритм обучения был написан на языке Python с использованием библиотеки Keras. В качестве основной метрики при обучении использовалась доля правильно распознанных примеров.
2. Полученные результаты
Для определения качества обученных нейросетевых моделей на тестовом наборе данных наряду с долей правильно распознанных примеров, вычислялись следующие метрики для отдельных классов воздействий: площадь под ROC-кривой (ROC AUC), точность (precision), полнота (recall) и F1 -мера, приведенные в таблице 1 в процентах от совокупной выборки. Указанные метрики, кроме ROC AUC, зависят от используемого порога уверенности классификатора. Данные в таблице соответствуют выбору максимально вероятного класса — критерий argmax.
Таблица 1
Метрики наилучшей обученной модели классификации на тестовых данных
Класс воздействия Животные, % Ручная копка, % Шаги человека, %
ROC AUC 99,8 99,9 99,8
F1 97,8 99,6 98,4
Точность 97,0 99,6 98,8
Полнота 98,5 99,6 97,9
На рисунке 3 показана матрица ошибок классификатора, иллюстрирующая число как правильно, так и неправильно распознанных примеров каждого класса. Индексы строк матрицы соответствуют истинным классам воздействия, индексы столбцов — предсказанным классам. Указанная матрица также получена с использованием критерия наибольшей вероятности а^тах.
а
JO
4»
_ human digg
human step
animals -
noise
à - 4000 I- 3S00 I - 3000
- 2500
1500
1000
0
2000
500
animals human di$gman step noise Predicted label
Рис. 3. Матрица ошибок
Заключение
В результате исследований показано, что стандартные методы компьютерного зрения такие как сверточные нейронные сети также хорошо справляются с задачей классификации фрагментов сигналограммы распределенного акустического сенсора. Часть примеров все же классифицируется неверно. Для улучшения качества классификации может иметь смысл увеличение размера анализируемых фрагментов, однако в этом случае из-за возможного наложения разных типов воздействий, вероятно, придется переформулировать проблему как задачу сегментации.
В работе рассмотрен способ интерпретации данных распределенного акустического сенсора, с использованием хорошо зарекомендовавшего себя алгоритма компьютерного зрения на основе сверточных нейронных сетей. Для экономии вычислительных ресурсов исходный акустический сигнал предварительно сжимался примерно в 20 раз с помощью трехчастотных фильтров с последующей децимацией. Сжатый сигнал представляет собой цветное изображение и может быть проанализирован методами компьютерного зрения, что и было продемонстрировано на примере задачи классификации фрагментов сигналограммы. Метрика F1 обученного нейросетевого классификатора по рассмотренным классам воздействия превышает 97,8 %, что является достаточно хорошим результатом в подобных задачах.
Список литературы
1. Kingma D.P., Ba J. Adam: a method for stochastic optimization [Electronic Source] // Published as a conference paper at the 3rd International Conference for Learning Representations, San Diego, 2015. - DOI: https://doi.org/10.48550/arXiv.1412.6980. -URL: https://arxiv.org/abs/1412.6980 (date of access: 23.11.2023).
2. Amidi A., Amidi Sh. Convolutional neural networks cheatsheet [Electronic Source] // Shervine Amidi webpage, Stanford University. - URL: https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-convolutional-neural-networks (date of access: 23.11.2023).
3. Souto C., Pirk R. Vibro-acoustic low frequency analysis of the VLS equipment bay using finite elements // Proceedings of the 13 th International Congress on Sound and Vibration 2006 (ICSV 13), 2-6 July 2006, Vienna, Austria. - Vol. 1. - Red Hook, NY: Curran Associates, Inc., 2013. - Pp. 5874-5882. - ISBN: 978-1-62748-150-2.
4. Tan M., Le Q.V. EfficientNet: rethinking model scaling for convolutional neural networks [Electronic Source] // International Conference on Machine Learning, 2019 (ICML 2019). - DOI: https://doi.org/10.48550/arXiv.1905.11946. - URL: https://arxiv.org/abs/1905.11946 (date of access: 23.11.2023).
5. Нестеров Е.Т., Трещиков В.Н., Камынин В.А., Наний О.Е. Когерентный рефлектометр с полупроводниковым источником излучения // T-Comm - Телекоммуникации и Транспорт. - 2010. - Спецвыпуск. - С. 36-39. - URL: https://cyberleninka.m/article/n/kogerentnyy-reflektometr-s-poluprovodnikovym-istochnikom-izlucheniya (дата обращения: 23.11.2023).
6. Skripachev V.O., Guida M.V., Guida N.V., Zhukov A.O. The study of convolu-tional neural networks for detecting objects in aerospace images // International Journal of Open Information Technologies. - 2022. - Vol. 10 (7). - Pp. 54-64.
7. Zapletnicov I., Chubin A., Gidkov Yu. Vibroacustics' characteristics of technological equipment transformation in exploitation conditions // Proceedings of ICSV12 Congress, 2005.
УДК 330.1
doi:10.18720/SPBPU/2/id24-194
Завьялова Елизавета Вячеславовна 1,
студент-бакалавр; Ефремов Артём Александрович 2,
доцент, канд. физ.-мат. наук, доцент
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ КВАДРОКОПТЕРА НА БАЗЕ
УРАВНЕНИЯ ЛАГРАНЖА
1 2 Россия, Санкт-Петербург, Санкт-Петербургский политехнический
университет Петра Великого; 1 zavyalova.ev@edu.spbstu.ru, 2 Artem.Efremov@spbstu.ru
Аннотация. В работе исследуется математическая модель квадрокоптера на базе уравнения Лагранжа. Показан процесс ее построения. Используется библиотека SymPy для Python для автоматизации вычислений.
Ключевые слова: математическая модель, квадрокоптер, уравнение Лагранжа.
