CC BY
9
АСТРОНОМИЯ, АСТРОФИЗИКА И КОСМОЛОГИЯ
Первое применение нейронных сетей для анализа данных орбитального детектора ТУС
М. Ю. Зотов,1, а Д. Б. Соколинский2, б
1 Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына Московского государственного университета имени М. В. Ломоносова (НИИЯФ МГУ); 2 Московский государственный университет имени М. В. Ломоносова, физический факультет, кафедра физики космоса. Россия, 119991, Москва, Ленинские горы, д. 1, стр. 2.
Поступила в редакцию 24.07.2020, после доработки 14.09.2020, принята к публикации 15.09.2020.
В статье представлены результаты использования простых нейронных сетей для распознавания событий, вызванных попаданием заряженных частиц в фотоприемник орбитального телескопа ТУС, предназначенного для регистрации космических лучей предельно высоких энергий. Для поиска событий этого типа были использованы персептроны с различным числом скрытых слоев и сверточные нейронные сети. Мы подробно описываем методику исследования и встретившиеся трудности, а также способы их решения. Результаты исследования демонстрируют эффективность и широкие перспективы использования методов машинного обучения для анализа и классификации данных экспериментов такого типа. Настоящая работа будет продолжена для изучения всех данных детектора ТУС, а также данных работающего в настоящее время на российском сегменте МКС прибора «УФ-атмосфера».
Ключевые слова: флуоресцентный телескоп, анализ данных, машинное обучение, нейронные сети. УДК: 520.6.05, 524.1, 004.93'12. РЛСБ: 96.50.S-, 87.18.Sn, 07.05.Pj.
ВВЕДЕНИЕ
Последние годы наблюдается быстрый рост применения нейронных сетей (НС) и различных методов машинного обучения (МО) в самых различных областях жизнедеятельности человека, включая физику [1-3]. Достаточно сказать, что работы по компьютерным наукам (computer science) составили в 2019 г. почти 28% от всех новых поступлений в ведущей электронной библиотеке препринтов по физике и математике arXiv.org (более 40 тыс.). Из них на долю работ по искусственному интеллекту, машинному обучению, компьютерному зрению и распознаванию образов пришлось более 40% [4]. Однако применение МО и НС для анализа экспериментальных данных в физике космических лучей сверхвысоких и предельно высоких энергий остается достаточно ограниченным (см., например, [5-8]). Между тем, судя по успехам МО в других областях астрофизики, этот подход может существенно расширить возможности анализа экспериментальных данных. Поскольку авторы настоящей статьи участвуют в подготовке орбитального эксперимента «КЛПВЭ» (K-EUSO) на борту российского сегмента МКС, нацеленного в первую очередь на изучение космических лучей предельно высоких энергий (КЛ ПВЭ, энергии > 50 ЭэВ) [9, 10], а также в анализе данных первого в мире орбитального детектора КЛ ПВЭ ТУС [11-13], то возникло желание попробовать использовать НС для анализа уже имеющихся экспериментальных данных, а также оценить, насколько эффективным может быть применение НС для разработки триггеров «полезных» для эксперимента событий и подавления записи «паразитных» сигналов, т. е. для разработки «антитриггеров».
а E-mail: zotov@eas.sinp.msu.ru б E-mail: sokolinskii.db18@physics.msu.ru
В настоящей статье мы рассказываем о первом опыте применения нейронных сетей двух совершенно различных конфигураций, а именно многослойных персептронов и сверточных нейронных сетей (СНС) для распознавания в данных детектора ТУС одного класса событий. Для простоты были выбраны события, возникавшие вследствие попадания заряженных частиц в фотоприемник и имевшие характерные осциллограммы и трекоподобные «следы» на фокальной плоскости телескопа. Мы покажем, что даже простейшие из рассмотренных НС показали очень высокую эффективность распознавания событий данного типа, в ряде случаев обнаружив события, пропущенные алгоритмом, построенным по традиционным принципам. С другой стороны, проделанный анализ выявил и некоторые сложности применения НС к реальным данным в силу того, что они были получены в различных условиях наблюдения, различные каналы фотоприемника имели различные чувствительности и т. д.
1. ОРБИТАЛЬНЫЙ ТЕЛЕСКОП ТУС
Детектор ТУС был выведен на околоземную орбиту в составе научной аппаратуры спутника «Ломоносов» 28 апреля 2016 г. и работал с середины мая 2016 г. до конца ноября 2017 г. Спутник имел солнечно-синхронную орбиту с наклонением 97.3°, периодом обращения вокруг Земли « 94 мин и высотой орбиты 470-500 км над уровнем моря.
Детектор представлял собой пионерский проект телескопа-рефлектора для регистрации в ночной атмосфере Земли флуоресцентного и черенковского излучения широких атмосферных ливней (ШАЛ), вызванных попаданием в нее КЛ ПВЭ. Основным оптическим элементом прибора являлось френелев-ское зеркало площадью около 2 м2 с фокусным
С
!=Т <
3
I
1000 800 600 400 200 0
1000 800
^ 600 л
I
400
200
0
1 32 64 96 128 160 192 224 256 Время/0.8 мкс в
1 32 64 96 128 160 192 224 256 Время/0.8 мкс
16 14 12 10 8 ФЭУ
6 4 2 1
16 14 12 10 8 ФЭУ
6 4 2 1
б
1024
896
768
640
512
384
256
128
0
г
352 308 264 220 176 132 88 44 0
Рис. 1. Вверху: яркое трекоподобное событие с ясным линейным следом на фокальной плоскости. Внизу: слабое ТПС, записанное в условиях сильного фона. Здесь и далее красные кривые на рисунках слева обозначают осциллограммы с максимальными значениями кодов АЦП. На рисунках справа показаны «снимки» ФП в момент достижения максимального значения кодов АЦП, а цвета обозначают диапазоны их значений (в цвете online)
расстоянием 1.5 м. В фокальной плоскости зеркала был установлен фотоприемник (ФП) из 256 фотоэлектронных умножителей (ФЭУ) И1463 фирмы Иаташа1зи, организованных в виде квадрата, состоявшего из 16 модулей по 16 ФЭУ. Детектор работал в диапазоне волн 300-400 нм. Поле зрения составляло 9° х 9°, что соответствовало площади около 6400 км2 на уровне моря при высоте орбиты 500 км. Угловое разрешение одного пикселя равнялось в этом случае примерно 5 х 5 км.
Детектор поддерживал несколько режимов работы. Основной режим имел временное разрешение 0.8 мкс и был предназначен для регистрации ШАЛ. Каждая запись события содержала 256 значений кодов АЦП, записанных для каждого из каналов фотодектора в течение 256 тактов времени (т.е. 65536 чисел). Три других режима работы были предназначены для регистрации более медленных процессов в атмосфере — релятивистской пыли (временное разрешение 25.6 мкс), т.н. транзиентных атмосферных явлений (0.4 мс) и метеоров или аналогичных объектов (6.6 мс). Подробное описание устройства детектора ТУС можно найти в [11-13]. Все события, которые обсуждаются в настоящей статье, были зарегистрированы в режиме поиска ШАЛ.
2. ТРЕКОПОДОБНЫЕ СОБЫТИЯ
Начиная с первых дней работы детектора ТУС, в его данных были обнаружены сравнительно мно-
гочисленные события, имевшие характерные осциллограммы и «след» на фокальной плоскости (рис. 1). Как видно из рисунков, в данном случае наблюдался мгновенный (в течение 1-2 тактов) скачок кодов АЦП, как правило, имевший место сразу в нескольких смежных каналах, при этом такие каналы зачастую образовывали линейную структуру на ФП, подобную треку. Поэтому такие события получили название трекоподобных событий (ТПС). Было подробно изучено географическое распределение мест регистрации ТПС, что позволило установить их корреляцию с конфигурацией геомагнитного поля. В частности, была найдена повышенная плотность ТПС в районе Южно-Атлантической аномалии. Примеры различных ТПС, зарегистрированных телескопом ТУС, можно найти в работах [11, 14, 15] и др. В дальнейшем с помощью пакета ОБАЫТ4 было проделано моделирование прохождения заряженных частиц через фотоприемник детектора ТУС (преимущественно через ультрафиолетовые фильтры, установленные перед каждым ФЭУ) и показано, что данные сигналы могут быть вызваны попаданием в прибор протонов с энергиями в диапазоне от нескольких сот мегаэлектронвольт до нескольких гигаэлектронвольт [16].
Трекоподобные сигналы имели «паразитный» характер, поскольку не относились к числу явлений, предназначенных для регистрации детектором. Ввиду того, что ТУС имел мертвое время длительностью
a
от 52 с до 60 с после записи каждого события, регистрация ТПС существенно сокращала полезное время работы детектора. В связи с этим в процессе наземной обработки данных был разработан алгоритм отбора таких событий, основанный на традиционном поиске одномоментного скачка сигнала на определенную величину по отношению к среднему уровню. В результате численных экспериментов в качестве превышения была выбрана величина в 20 стандартных отклонений, что, в сочетании с некоторыми дополнительными условиями отбора, позволило достаточно эффективно отбирать ТПС и при этом минимизировать число ложнопо-ложительных сигналов. На основе анализа работы данного алгоритма был написан и загружен в ТУС «антитриггер», призванный подавить запись событий данного типа. Первая версия антитриггера оказалась не вполне эффективной и была доработана и загружена в ТУС в конце апреля 2017 г. Антитриггер отслеживал появление скачков кодов АЦП на величину более 20 стандартных отклонений от среднего уровня и подавлял запись таких событий на 48 тактов, что соответствовало характерной длительности затухания сигнала в ТПС. Этот алгоритм показал существенно более высокую эффективность, чем первоначальная версия, но также не мог обеспечить полное подавление записи ТПС, поскольку среди них иногда встречались события с существенно более медленным затуханием сигнала (см. ниже). В настоящей работе мы рассматриваем исключительно этот класс событий ввиду того, что он был достаточно хорошо изучен традиционными методами, а также имеет простую структуру сигнала. Кроме этого, события такого типа встречаются в данных детектора «УФ-атмосфера», работающего в настоящее время на МКС [17], что вызывает дополнительный интерес. Можно ожидать, что такие события будут регистрироваться и разрабатываемым телескопом КЛПВЭ.
Необходимо сразу отметить, что анализ экспериментальных данных детектора ТУС затруднен рядом объективных факторов. Во-первых, чувствительности всех каналов фокальной плоскости изначально были различными, так что один и тот же сигнал, попавший в разные части ФП, давал различный отклик прибора. Это положение ухудшила непредвиденная ситуация, имевшая место с прибором в течение первых суток после включения, в результате которой вышел из строя 51 из 256 каналов ФП, а у других изменились чувствительности. По данным эксперимента удалось проделать приблизительную повторную калибровку каналов [13]. Она затронула лишь небольшое число каналов прибора и показала, что чувствительности изменились непропорционально первоначальным величинам. В силу этого выравнивание чувствительности всех каналов в экспериментальных данных было невозможно. Во-вторых, за рассматриваемый период работы прибора трижды изменялись настройки его триггера. Наконец, было отмечено, что чувствительности каналов ФП, по всей видимости, несколько изменяются со временем. Все эти факторы в совокупности создают определенные сложности при анализе данных детектора ТУС, что проявилось и при их использовании для обучения нейронных сетей.
3. НЕЙРОННЫЕ СЕТИ
Исходные данные
Важным этапом работы с нейронными сетями является подготовка наборов данных, используемых для обучения сети и ее последующего тестирования. В нашем распоряжении было более 77 тыс. событий, зарегистрированных на ночных сегментах орбиты в период с середины августа 2016 г. до конца ноября 2017 г. в режиме регистрации ШАЛ (т.е. с шагом временной развертки 0.8 мкс). При отборе событий для обучающей выборки1 мы хотели иметь достаточно представительный набор данных, содержащий по возможности все характерные ТПС и достаточный для проведения обучения НС. С другой стороны, мы хотели сохранить большой набор «неразмеченных» данных, к которым можно было применить обученные нейронные сети для поиска ТПС. Мы начали изучение нейронных сетей с набора данных за октябрь 2016 г. (далее — «выборка 1610»). Набор содержал 7888 событий, из которых 961 событие было отобрано как ТПС на основе традиционного алгоритма, кратко описанного выше.2
Кроме выборки 1610, мы использовали еще один обучающий набор, а именно данные, полученные в апреле 2017 г. (далее — «выборка 1704»). Набор содержал 8103 события, из которых 368 относились к группе ТПС. Выбор этого периода был обусловлен двумя факторами. Во-первых, в конце марта, после трех месяцев работы в режиме «Метеор», ТУС был вновь включен в режим регистрации ШАЛ, и была предпринята первая попытка подавить регистрацию ТПС с помощью антитриггера. Она оказалась не полностью удачной, но привела к сдвигу момента срабатывания триггера к началу записей. Таким образом, осциллограммы ТПС приобрели вид, несколько отличный от регистрировавшегося ранее. Во-вторых, в конце апреля 2017 г. был разработан и загружен в прибор новый антитриггер для ТПС, что привело к подавлению записи большинства событий этого типа.
Таким образом, после обучения НС на выборке 1610 поиск ТПС осуществлялся в наборе данных, содержавшем 69251 событие, а после обучения на совокупной выборке (1610+1704) — в наборе из 61148 событий. Для контроля правильности классификации эти данные были заранее размечены с помощью традиционного алгоритма.
Поскольку одной из основных целей настоящей работы являлась оценка перспективности применения нейронных сетей для создания триггеров и антитриггеров определенных типов событий в эксперименте КЛПВЭ, нас интересовали простейшие архитектуры сетей и небольшие наборы данных, подаваемые на вход сети. Это связано с тем, что бортовые процессоры, работающие в режиме реального времени, имеют сравнительно невысокую производительность.
1 Для упрощения терминологии мы включаем в нее события, которые использовались и для обучения, и для валидации в процессе обучения, и для тестирования полученных НС.
2 В дальнейшем, благодаря использованию НС, выяснилось, что в данной выборке на самом деле присутствовали 981 ТПС.
Для анализа данных, включая классификацию и реконструкцию параметров событий, планируется использовать более сложные сети и, возможно, все данные каждого конкретного события (т. е. 65536 чисел для каждого события в случае детектора ТУС).
Многослойный персептрон
Мы протестировали персептроны с одним, двумя и тремя скрытыми слоями. В каждом случае скрытый слой мог состоять из 2, 4, 8, 16, 24 или 32 узлов (нейронов). Если слоев было более одного, то все содержали одинаковое число нейронов. Мы проверили работу различных функций активации — сигмоид, tanh и ReLU — и в результате остановились на последней. В качестве оптимизатора мы испробовали функции Adam, SGD и Adadelta, имеющиеся в библиотеке Keras [18], и выбрали алгоритм Adam со скоростью обучения 0.0005, поскольку он продемонстрировал хорошие результаты классификации в сочетании с высокой скоростью обучения. Число эпох обучения выбиралось автоматически по значению точности классификации данных на вали-дационной выборке, объем которой составлял от 10% до 25% выборки, предназначенной для обучения НС. Объем тестовой выборки составлял 1000 событий для выборки 1610 и 2000 событий — для выборки 1610+1704. При этом данные для составления тренировочной и тестовой выборок отбирались из исходного набора случайным образом. Поскольку мы решали задачу бинарной классификации, на выходе сети использовалась функция активации сигмоид. Все нейронные сети были реализованы с помощью пакета TensorFlow версии 2.1 на языке Python.
Данные из обучающей выборки, подаваемые на вход НС, готовились двумя различными способами. В простейшем случае («набор 1») каждое событие описывалось 256 числами, представляющими собой коды АЦП в осциллограмме, имевшей наибольшую амплитуду и наибольшее среднее значение среди всех осциллограмм с той же амплитудой. Значения кодов АЦП в каждой записи модифицировались таким образом, чтобы минимальное значение имело значение 0. Это позволило улучшить распознавание ТПС, записанных при высоком уровне фонового сигнала. Однако при таком подходе нейронная сеть была не в состоянии отличить ТПС от (немногочисленных) событий, в которых осциллограммы имели такую же характерную форму, но вспышка не была локализована в группе смежных каналов, а охватывала всю или почти всю ФП. Поэтому описание каждого события было дополнено еще 256 числами, которые представляли собой «снимок» фокальной поверхности в момент максимума сигнала. Таким образом, каждое событие в этом наборе («набор 2») описывалось 512 числами. Это позволило достаточно четко различать события с локализованным сигналом и вспышкой по всей фокальной плоскости.
С самого начала персептроны, обученные на выборке 1610, показали очень хорошие результаты на тестовых данных, давая, как правило, не более 5 ошибочных классификаций на 1000 тестовых событий. Однако применение обученных на этой выборке НС к набору данных за пределами октября 2016 г. показало их существенно более низкую
Число узлов в каждом из скрытых слоев
Рис. 2. Усредненные значения точности обучения разных конфигураций персептрона на двух наборах данных. По оси абсцисс отложено число узлов (нейронов) в каждом из скрытых слоев персептрона, по оси ординат — средняя точность обучения (AT) на тестовых данных (в цвете online)
эффективность. Это было вполне ожидаемо в силу особенностей работы детектора, описанных выше. Далее в этом разделе мы обсуждаем результаты, полученные при использовании для обучения и первоначального тестирования персептрона совокупной выборки 1610 + 1704.
Основные результаты процесса обучения различных конфигураций персептронов на выборке 1610+1704 показаны на рис. 2. По оси абсцисс отложено количество узлов (нейронов) в каждом из скрытых слоев персептрона, по оси ординат — усредненная точность обучения (AT), вычисленная по тестовым наборам объемом 2000 событий для конкретной конфигурации НС и набора данных. Усреднение производилось по результатам обучения 10 сетей с фиксированными гиперпараметрами, но различными выборками обучающих, валидирующих и тестовых наборов из исходных данных. Легко заметить, что простейший персептрон с единственным скрытым слоем и двумя нейронами, обученный на наборе 1, показал среднюю точность (AT) классификации тестовых данных выше 0.975, что явилось неожиданно хорошим результатом. Интересно, что аналогичная НС, обученная на наборе 2, имела точность 0.92. Однако при большем числе узлов сеть, обученная на наборе 2, показала более высокую точность, чем сеть, обученная на наборе 1 (за исключением конфигурации с 16 узлами), что вполне ожидаемо, поскольку описание данных в обучающей выборке стало более детальным, а конфигурация НС — более сложной.
Наиболее стабильные высокие результаты в терминах величины (AT) показали персептроны с двумя скрытыми слоями, обученные на наборе 2. При этом наибольшая средняя точность, равная 0.9988, достигалась в конфигурациях с 2, 8 и 32 нейронами в каждом слое. Добавление 3-го скрытого слоя в персептрон не привело к увеличению точности классификации (AT). Среди трех наилучших (в среднем) сетей с 2 слоями персептроны с 8 узлами в каждом слое демонстрировали наиболее
800
С ^ 600
3
g
« 400
200
16 14 12 10 8 6 4 2 1
б
224
196
168
140
112
84
56
28 0
1 32 64
96 128 160 Время/0.8 мкс
192 224 256
16 14 12 10 8 ФЭУ
6 4 2 1
1000 800
С
!=Т
^ 600 л
5
400 200 0
Рис. 3. Пример события, ошибочно отобранного персептроном как ТПС (в цвете online)
16 14 12
§
б
480
420
360
300
240
180
120
60
0
1 32 64 96 128 160 192 224 256 Время/0.8 мкс
16 14 12 10 8 ФЭУ
6 4 2 1
Рис. 4. Пример события, которое возникло в результате подавления антитриггером записи ТПС и было правильно
классифицировано персептроном (в цвете online)
монотонное обучение, требовали небольшое количество эпох для обучения (порядка 60-70) и при этом обладали сравнительно небольшим числом параметров обучения (4201). Поэтому ниже мы обсудим результаты, полученные именно с этой конфигурацией НС, обученной на наборе 2.
Первоначальный список ТПС в наборе данных детектора ТУС за вычетом выборки 1610+1704 состоял из 1824 событий, найденных с помощью традиционного алгоритма, описанного выше. При первичном прогоне НС обнаружила 2050 ТПС, из которых 1743 уже были известны. 81 ТПС было потеряно, т.е. ошибочно классифицировано как относящееся ко второму классу событий. Список потерянных ТПС преимущественно состоял из данных, в которых сигнал был сосредоточен всего в нескольких пикселях, а осциллограммы были узкими, так что «хвост» сигнала затухал всего за несколько тактов. Неожиданным оказалось то, что с помощью персептрона было обнаружено 307 событий, классифицированных как ТПС, но не найденных с помощью классического алгоритма. Среди них лишь пять событий оказались идентифицированы как ТПС ошибочно. Пример одного из этих событий показан на рис. 3. Видно, что осциллограммы имеют характерную для ТПС форму, но при этом сигнал занимает значительную
часть ФП. Интересно также, что НС обнаружила несколько десятков слабых ТПС, сосредоточенных в одном-двух каналах и записанных в районе ЮжноАтлантической магнитной аномалии.
Вновь найденные ТПС можно разделить на две основные группы:
1. Слабые короткие сигналы, сосредоточенные в 12 каналах и записанные при высоком уровне фона; в принципе, такие сигналы можно было обнаружить ослаблением критериев отбора ТПС в традиционном алгоритме, но это приводило к появлению значительного числа ложных срабатываний.
2. События, записанные после включения антитриггера и представлявшие собой «хвост» первоначального сигнала, запись которого была подавлена (пример на рис. 4). Эффективное обнаружение таких событий с помощью персептрона оказалось тем более неожиданным, что в обучающем наборе было представлено всего три таких ТПС, найденных вручную.
Сверточные нейронные сети
Поскольку, как было указано выше и хорошо видно на верхней панели рис. 1 справа, большая часть ТПС имела характерный линейный «след» на ФП, возник вопрос, насколько эффективными для классификации таких событий могут быть сверточные
a
0
a
б
1000
800
С
<
3
I
400
200
16 14 12
110
§ 8
s 8 6
4
2
1 32 64 96 128 160 192 224 256 Время/0.8 мкс
1024
896
768
640
512
384
256
128
0
16 14 12 10 8 6 4 ФЭУ
21
Рис. 5. Пример сигнала антропогенной природы, ошибочно классифицированного сверточной нейронной сетью как ТПС
(в цвете online)
нейронные сети, которые прекрасно зарекомендовали себя в многочисленных задачах распознавания двумерных изображений [19, 20], а в последнее время — и изображений на сфере [21-23]. Так же, как и в случае с персептроном, мы протестировали несколько конфигураций СНС, стремясь сохранить их простыми. В результате была выбрана сеть следующей архитектуры:
1) сверточный слой с 20 фильтрами и ядром 3 х 3;
2) слой подвыборки максимального значения (maximum pooling layer) с ядром 2 х 2;
3) один скрытый слой, состоящий из 64 узлов;
4) один выходной нейрон.
В качестве функции активации для сверточного и скрытого слоев была выбрана ReLU, для выходного слоя — сигмоида. Как и в случае с персептроном, были опробованы различные оптимизаторы, имеющиеся в пакете TensorFlow. Наилучшую точность в сочетании с быстрым обучением продемонстрировал алгоритм оптимизации Adam, который и использовался в дальнейшем. Процедура обучения была аналогична примененной для персептрона.
В первоначальном варианте для обучения использовалась выборка 1610, в которой каждое событие описывалось 256 числами, а именно «снимком» фокальной поверхности, сделанным в первый момент регистрации максимального значения кода АЦП. Таким образом, на вход СНС поступали данные, аналогичные черно-белым фотографиям с разрешением 16 х 16 пикселей. Значения кодов АЦП в каждой записи модифицировались таким образом, чтобы среднее равнялось нулю, а стандартное отклонение — единице. Наряду с некоторыми другими подходами, это является общепринятой практикой, поскольку позволяет нивелировать отличия в данных, возникшие из-за различных условий их получения.
Сверточная сеть сразу показала высокую точность классификации данных на валидирующем и тестовом наборах на уровнях 0.99-0.995. Однако применение обученной СНС к полному набору данных выявило одну из ее слабых сторон: она плохо распознавала ТПС, записанные при высоком уровне фона, поскольку такие данные отсутствовали в обучающем наборе. Для решения этой проблемы выборка 1610 была дополнена данными за двое суток наблюдений
в сентябре 2016 г., которые проходили в условиях высокого фона, создаваемого Луной (далее — выборка 1610M). Это позволило существенно повысить качество распознавания таких событий в полном наборе данных.
Описанный выше подход формирования входных данных из 256 чисел на каждое событие выявил еще одну слабую сторону: нейронная сеть была не в состоянии различить ТПС, сосредоточенные в небольшом числе пикселей, не имеющих линейной структуры на ФП, и некоторые сигналы антропогенного происхождения, которые имели совершенно другую форму осциллограмм, но схожий «след» на ФП (пример на рис. 5). Чтобы решить эту проблему, данные по каждому событию были дополнены 512 числами, которые представляли собой еще два снимка фокальной плоскости, сделанные в различные моменты времени и призванные дать нейронной сети представление о динамике сигнала. При таком подходе на вход сети для каждого события подавалось 768 чисел, организованных в тензор, состоявший из 3 слоев. Продолжая аналогию с фотографией, можно сказать, что в данном случае на вход СНС подавались цветные фотографии с разрешением 16 х 16 и тремя каналами цвета RGB.
В целом СНС, обученная на выборке 1610M с данными, состоящими из 768 чисел для каждого события, показала высокое качество распознавания ТПС на полном наборе данных, так что ее обучение на более богатой выборке 1610 + 1704 не привело к сколько-нибудь заметному улучшению качества работы. Некоторое число ошибочных классификаций было связано с «хвостами» ТПС, подавленных антитриггером, которые эффективно распознавались персептроном, но не имели характерного следа на фокальной поверхности (см. рис. 4). С другой стороны, СНС правильно классифицировала ТПС с необычными «следами» на ФП. В частности, она распознала некоторые ТПС, которые имели пунктирный след на ФП в силу того, что он прерывался неработавшими ФЭУ. Кроме этого, она верно классифицировала несколько событий с X-образным следом на ФП, который был создан одновременной наводкой сигнала в одном из модулей, пересекавших трек. Классификация таких событий не представляла сложностей для
a
0
1
персептрона, т. к. форма осциллограмм в них была прежней, но распознавание их сверточной сетью явилось для нас неожиданным.
Здесь необходимо отметить, что, как известно, нейронные сети с одними и теми же гиперпараметрами, обученные на одном и том же наборе данных, но обучавшиеся при разных начальных параметрах, могут давать на выходе несколько различные результаты. Поэтому поиск ТПС как с помощью персептрона, так и с помощью СНС был проделан неоднократно. В результате первоначальный список ТПС дополнился более чем 400 событиями, при этом некоторые события отбирались лишь одним из использованных типов НС. В среднем двухслойный персептрон в ходе классификации терял около 200-250 ТПС, но при этом отбирал 10-20 лож-ноположительных событий. СНС в среднем теряла около 300 ТПС, давая 50-60 ложноположительных срабатываний, что было близко к результатам работы традиционного алгоритма.3 Изучение этих ошибок нейронных сетей показало, что их причиной являлась ограниченность информации, используемой для обучения и классификации.
ЗАКЛЮЧЕНИЕ
Мы представили результаты первого применения нейронных сетей для распознавания в данных орбитального детектора ТУС трекоподобных событий, вызванных попаданием заряженных частиц в фотоприемник прибора. Основной целью исследования была оценка применимости данного подхода для классификации данных орбитальных флуоресцентных детекторов и разработки триггеров (антитриггеров) для определенных типов сигналов. Ввиду ограниченной производительности бортовых процессоров разрабатываемых детекторов мы ограничились простейшими конфигурациями персептронов и свер-точных нейронных сетей и минимальным числом входных данных, используемых для распознавания событий.
Исследование показало, что даже простые конфигурации НС позволяют добиться правильной классификации рассмотренных событий на уровне > 90%. Более того, применение НС привело к обнаружению в данных значительного числа слабых ТПС, пропущенных алгоритмом, основанном на традиционном выделении сигналов со скачкообразным ростом. При этом использование нейронных сетей не потребовало каких-либо существенных вычислительных ресурсов: типичное время обучения двухслойного персептрона на настольном компьютере с процессором Intel семейства i7 с 8 ядрами составляло 5-7 с, а сверточной сети — около 50-55 с.
С другой стороны, были выявлены принципиальные сложности обучения НС на реальных данных в условиях, когда все каналы фотоприемника
3 Необходимо отметить, что традиционный алгоритм имел целый ряд настраиваемых параметров и дополнительных проверок, так что при необходимости эффективность его работы могла быть несколько улучшена, но это приводило к его усложнению и не входило в нашу задачу.
прибора имели различные и неизвестные чувствительности, а наблюдения осуществлялись в самых разнообразных условиях фонового излучения.
В целом мы считаем, что проделанный анализ продемонстрировал перспективность применения методов машинного обучения для задач такого типа. В дальнейшем планируется использовать нейронные сети для получения полной феноменологической классификации всего набора экспериментальных данных, полученных с помощью детектора ТУС. Кроме этого, планируется применить НС к распознаванию различных классов событий, регистрируемых прибором «УФ-атмосфера» (mini-EUSO), который работает в настоящее время на МКС и имеет существенно более высокое разрешение фокальной плоскости, чем ТУС. Работа может быть также продолжена с целью создания триггера ШАЛ для детектора космических лучей предельно высоких энергий КЛПВЭ, разрабатываемого в настоящее время.
Авторы благодарят участников семинара Лаборатории космических лучей предельно высоких энергий НИИЯФ МГУ за интересное обсуждение предварительных результатов настоящей работы. М. Ю. Зотов благодарит Олега Калашева (ИЯИ РАН) за полезное обсуждение различных аспектов применения сверточных нейронных сетей.
СПИСОК ЛИТЕРАТУРЫ
1. Carleo G., Cirac I., Cranmer K. et al. // Reviews of Modern Physics. 2019. 91, N 4. P. 045002.
2. Mehta P., Bukov M, Wang C-H. et al. // Physics Reports. 2019. 810. P. 1.
3. Fluke C.J., Jacobs C. // WIREs Data Mining and Knowledge Discovery. 2020. 10, N 2. P. E1349.
4. https://arxiv.org/help/stats/2019_by_area/index
5. Erdmann M., Glombitza J., Walz D. // Astroparticle Physics. 2018. 97. P. 46.
6. Guillen A., Bueno A., Carceller J.M. et al. // Astroparticle Physics. 2019. 111. P. 12.
7. Shipilov D., Bezyazeekov P. A., Budnev N.M. et al. // European Physical Journal Web of Conferences. 2019. 216. P. 02003.
8. Ivanov D., Kalashev O.E., Kuznetsov M.Y. et al. // arXiv:2005.07117.
9. Klimov P., Casolino M., the JEM-EUSO Collaboration // In Proceedings, 35th International Cosmic Ray Conference (ICRC 2017): Bexco, Busan, Korea, July 12-20, 2017. P. 412.
10. Casolino M., Belov A., Bertaina M. et al. // In Proceedings, 35th International Cosmic Ray Conference (ICRC 2017): Bexco, Busan, Korea, July 12-20, 2017. P. 368.
11. Khrenov B.A., Klimov P. A., Panasyuk M.I. et al. // J. of Cosmology and Astroparticle Physics. 2017. N 09. P. 006.
12. Klimov P. A., Panasyuk M.I., Khrenov B.A. et al. // Space Science Reviews. 2017. 212. P. 1687.
13. Khrenov B.A., Garipov G.K., Kaznacheeva M.A. et al. // J. of Cosmology and Astroparticle Physics. 2020. N 03. P. 033
14. Zotov M. Yu. // Physics of Particles and Nuclei. 2018. 49, N 4. P. 612.
15. Zotov M. // JPS Conf. Proc. 2018. 19. P. 011029.
16. Klimov P. A., Zotov M. Yu., Chirskaya N. P. et al. // Bulletin of the Russian Academy of Sciences: Physics. 2017. 81, N 4. P. 407.
17. Capel F., Belov A., Casolino M., Klimov P. // Advances in Space Research. 2018. 62, N 10. P. 2954.
18. Chollet F. et al. // Keras. https://keras.io. 2015.
19. Nielsen M. // Neural networks and deep learning. Determination Press. 2015.
20. Goodfellow I., Bengio Y., Courville A. // Deep Learning. MIT Press. 2016.
21. Perraudin N., Defferrard M., Kacprzak T., Sgier R. // Astron. Comput. 2019. 27. P. 130.
22. Krachmalnicoff N., Tomasi M. // Astronomy & Astrophysics. 2019. 628. P. A129.
23. Kalashev O., Pshirkov M., Zotov M. // J. of Cosmology and Astroparticle Physics. 2020. N 11. P. 005.
The First Application of Neural Networks to the Analysis of the TUS Orbital Detector Data M. Yu. Zotov1a, D.B. Sokolinskiy2 b
1Skobeltsyn Institute of Nuclear Physics; 2Department of Space Physics, Faculty of Physics, Lomonosov Moscow State University. Moscow 119991, Russia. E-mail: azotov@eas.sinp.msu.ru, bsokolinskii.db18@physics.msu.ru.
The results of application of simple neural networks for recognizing events caused by charged particles hitting the photodetector of the TUS first orbital telescope of extreme-energy cosmic rays are presented. Perceptrons with different numbers of hidden layers and convolutional neural networks were employed for the task. The details of the study and encountered problems together with their solutions are provided. The results demonstrate the efficiency and good prospects of using machine learning methods for analyzing and classifying data of similar experiments. The work will be continued and extended with the TUS detector data and with the data of the Mini-EUSO experiment that is currently carried out at the Russian Segment of the International Space Station.
Keywords: fluorescence telescope, data analysis, neural networks, machine learning. PACS: 96.50.S-, 87.18.Sn, 07.05.Pj. Received 24 July 2020.
English version: Moscow University Physics Bulletin. 2020. 75, No. 6. Pp. 657-664.
Сведения об авторах
1. Зотов Михаил Юрьевич — канд. физ.-мат. наук, ст. науч. сотрудник; тел. (495) 939-57-35, e-mail: zotov@eas.sinp.msu.ru.
2. Соколинский Денис Борисович — студент; e-mail: sokolinskii.db18@physics.msu.ru.
