CC BY
6ИНФОРМАТИКА И УПРАВЛЕНИЕ В ТЕХНИЧЕСКИХ И СОЦИАЛЬНЫХ СИСТЕМАХ
УДК 544.454; 536.46; 614.841.1 DOI: 10.46960/1816-210X_2023_1_7
УПРАВЛЕНИЕ ПРОЦЕССОМ ТУШЕНИЯ ЛЕСНЫХ ПОЖАРОВ НА ОСНОВЕ ОПТИМИЗАЦИИ АЛГОРИТМОВ МНОГОКЛАССОВОЙ СЕГМЕНТАЦИИ ПЛАМЕНИ НА ТРЕХ ВИДЕОПОТОКАХ
Е.Д. Линёв
ORCID: 0000-0002-6709-5599 e-mail: e.linev@mail.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
В.С. Бочков
ORCID: 0000-0002-2231-5711 e-mail: vladimir2612@bk.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
Л.Ю. Катаева
ORCID: 0000-0001-9217-9324 e-mail: kataeval2010@mail.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
Представлена концепция управления процессом тушения лесного пожара на основе усовершенствованного алгоритма автоматизированной подачи воды наводкой на объекты горения при помощи алгоритма многоклассовой сегментации. Для достижения вычислительно эффективного применения нейронных сетей использован смартфон Android с чипом Qualcomm Snapdragon 855, имеющий графические блоки для нейронных вычислений. Представлен детальный разбор методов сегментации и их вариации с целью достижения баланса высокой точности и производительности для работы в роботизированных устройствах в режиме реального времени. Рассмотрено применение блоков нормализации батча данных для улучшения стабильности роста показателей тренировки. Приведено сравнение между моделями стандартного UNet и его бинарно-многоклассовой модернизации BM-UNet. Для возможного сравнения характеристик производительности нейросетевых моделей берутся их облегченные версии путем двукратного уменьшения количества слоев в сверточных блоках и квантизации (уменьшения разрядности) вычислений из 32-х в 16-е битные числа с плавающей точкой. Наилучшая модель, используемая в смартфоне для управления прототипом робота водяной пушки, успешно верифицирована во время проведения экспериментального тушения пожара в малом масштабе.
Ключевые слова: UNet, BM-UNet, полная и частичная сегментация кадра, дистанция до объекта тушения, поиск уязвимых зон тушения.
ДЛЯ ЦИТИРОВАНИЯ: Линёв, Е.Д. Управление процессом тушения лесных пожаров на основе оптимизации алгоритмов многоклассовой сегментации пламени на трех видеопотоках / Е.Д. Линёв, В.С. Бочков, Л.Ю. Катаева // Труды НГТУ им. Р.Е. Алексеева. 2023. № 1. С. 7-20. DOI: 10.46960/1816-210X_2023_1_7
© Линев Е.Д., Бочков В.С., Катаева Л.Ю., 2023
WILDFIRE EXTINGUISHMENT PROCESS MANAGEMENT BASED ON OPTIMIZATION OF MULTICLASS FIRE SEGMENTATION ALGORITHM USING THREE VIDEO STREAMS
E.D. Linev
ORCID : 0000-0002-6709-5599 e-mail: e.linev@mail.ru
Nizhny Novgorod State Technical University n.a. R.E. Alekseev Nizhny Novgorod, Russia
V.S. Bochkov
ORCID: 0000-0002-2231-5711 e-mail: vladimir2612@bk.ru
Nizhny Novgorod State Technical University n.a. R.E. Alekseev Nizhny Novgorod, Russia
L.Yu. Kataeva
ORCID: 0000-0001-9217-9324 e-mail: kataeval2010@mail.ru
Nizhny Novgorod State Technical University n.a. R.E. Alekseev Nizhny Novgorod, Russia
Abstract. The concept of wildfire extinguishment process management based on an advanced algorithm of automated water supply by targeting combustion objects using multiclass segmentation algorithm is provided. In the pursuit of computationally effective application of neural networks, an Android smartphone with Qualcomm Snapdragon 855 chip having graphic clusters for neural computation is used. The detailed review of segmentation methods and their variations to achieve balance between high precision and performance for real-time operation mode on automated devices is provided. Application of data batch normalization to improve stability of increase in learning variables is reviewed. The standard UNet model is compared to a modernized binary and multiclass BM-UNet model. To enable comparing of the performance characteristics of neural models, their light versions are used, layer quantity in convolution blocks is reduced twice and computation quantization (bitness reduction) from 32-bit numbers to 16-bit numbers with floating point is performed. The best model is used on smartphone to operate the pilot water cannon robot successfully verified during trial small-scale fire extinguishment.
Key words: UNet, BM-UNet, full and partial frame segmentation, distance to object of extinguishment, detecting vulnerable areas for extinguishment.
FOR CITATION: E.D. Linev, V.S. Bochkov, L.Yu. Kataeva. Wildfire extinguishment process management based on optimization of multiclass fire segmentation algorithm using three video streams. Transactions of NNSTU n.a. R.E. Alekseev. 2023. № 1. Рp. 7-20. DOI: 10.46960/1816-210X_2023_1_7
Введение
Лесные пожары - одно из самых распространенных бедствий природного и техногенного характера, наносящее значительный ущерб экономике и здоровью населения. Для минимизации ущерба необходимы автоматизированные системы слежения, оповещения и предотвращения возгораний. В частности, для решения задач подобного рода используют анализ изображений бесконтактных ИК датчиков тепла (тепловизоров). Для выявления конфигурации пламени в окружающей среде с использованием современного аппарата компьютерного зрения применяют анализ стандартного RGB-видеопотока. Однако, с учетом развития вычислительных аппаратных мощностей и внедрением сверхточных нейросетевых технологий в компактные переносные устройства типа смартфонов и распространенности RGB видеосенсоров, более конкурентоспособным выглядит решение использования анализа RGB видеопотока. В частности, для задачи многоклассовой сегментации пламени методы UNet [1], wUUNet [2, 3] демонстрируют эффективную точность выявления сегментационной маски очага пожара и устойчивы к ложным срабатываниям.
В данной работе на основе использования нейросетевых моделей многоклассовой сегментации пожаров представлена алгоритмическая база на примере роботизированной водяной пушки. В разделе «Исследование методов многоклассовой сегментации пламени на видео, для возможности работы в ПО водяной пушки» представлен детальный разбор нейросетевых методов класса UNet, осуществляющих выявление маски красного, оранжевого и желтого сигнала пламени над кадром. Продемонстрированы способы улучшения показателей точности и характеристики производительности представленных методов на смартфоне Realmex2 pro. В разделе «Прототип водяной пушки и его натурные испытания» продемонстрирована работа алгоритмов с использованием прототипа робота водяной пушки и процесс пожаротушения в малых масштабах.
Алгоритмическая база работы водяной пушки
Для эффективной подачи в зоны очага пламени роботу необходимо получить о нем детальную информацию. При этом используются машинное зрение и информация стандартного RGB видеопотока, над которым проводится сканирование для выявления областей горения. Процесс получения информации об объектах до пиксельной точности называется семантической сегментацией. Рассмотрим задачу сегментации контуров на изображении в качестве примера взяв задачу нахождения пламени красного, оранжевого и желтого цвета. Задача сегментации изображения - задача регрессии, т.е. сопоставления матрицы признака входящему изображению, математическая постановка которой представлена следующим образом:
A(I) = S (1)
S = аи | а.j е [0, n] (2)
DIM (I) = DIM (S) (3)
Необходимо найти такой алгоритм A, при котором входящей матрице изображения I будет поставлена матрица признак S, каждый элемент которой равен или 0 (означает, что нет объекта в пикселе) или положительному значению соответствующему номеру класса в задаче. В нашем случае это три класса: красное (1), оранжевое (2) и желтое (3). Существует практика разложения матрицы сигнала по базису размера числа классов в задаче (one-hot) [4], и постановка приобретает следующий вид:
A( I) = S _ (4)
S = аг, j 1 а, у = £а, у лек (5)
к
Задача сегментации решается в рамках представленных далее стадий работы алгоритма прицельной стрельбы робота.
Алгоритм расчета дистанции до объекта тушения с использованием стерео-видео-аналитики
С учетом алгоритма сегментации пламени на рассмотренном изображении далее представим следующий критерий вычисления угла приращения вертикальной стрельбы: величина добавочного вертикального угла стрельбы прямой наводкой соответствует уровню зума видеокамеры, при котором сегментируемый объект пламени на изображении достигает 85 % общей площади кадра при данном значении зума:
р = р(z) | z е [zi,Z2,..., Zn],> 85% (6)
W=w(z)| z е [zbz2,..., zn],
S ( FZ ) S (Iz )
> 85%
(7)
¥(.z)
Здесь 9(z) - дискретная функция зависимости угла высоты дула от значения зума,
- дискретная функция зависимости приращения горизонтального угла попадания струи от значения зума (в случае соосного расположения дула и объектива камеры функция имеет
нулевые значения), S ( Fz ^ S (Iz) - суммарная площадь найденного сигнала огня на изображении при зуме z, общая площадь изображения.
С учетом того, что современные смартфоны Android содержат модули камеры, состоящей из нескольких линз, операционная система умеет переключаться между линзами при определенном значении зума z. Этим обеспечен стереографический анализ изображений.
Алгоритм тушения очага пожара роботом-водяной пушкой
Алгоритм баллистики включает две следующие стадии.
1) Поиск вертикальной полосы горения пожара по максимальному количеству сигнала, исходя из критерия, что пламя в случае незначительного ветра стремится снизу вверх, и контур пламени тоже будет составлять большую площадь по вертикали. Входящий кадр I, сегментированный с помощью нейронной сети A, разбивается на вертикальные ленточные подобласти C высотой с весь кадр и шириной в 1/5 от его ширины. Каждой подобласти C ставится число, обозначающее сумму сигнала пламени S, приоритезированного по классу, т.е. для пикселя красного пламени выставлено значение 1, оранжевого - 2, желтого - 3. В итоге будет выбрана та область, количество сигнала найденного пламени в которой максимально. В данную область совершается поворот дула робота по азимуту.
2) Поиск нижней точки тушения пожара, исходя из критерия, что оптимальная подача воды производится в зону пиролиза [5]. Для ленточной области, центрированной относительно кадра после поворота робота, выбирается значение высоты, соответствующее нижней точки, в которой найдено пламя, с приращением в 1/5 от высоты кадра (рис. 1). Белой вертикальной областью обозначена зона максимальной энергии пожара, зеленым крестом - точка прицельной стрельбы.
Оба алгоритма базируются на выводе алгоритма многоклассовой сегментации пламени на видео. Для возможности работы в режиме реального времени необходимо обеспечить оптимальное выполнение нейросетей, осуществляющих видеоаналитику. Сравнительному анализу и оптимизации методов семантической сегментации пламени на видео посвящен следующий раздел.
Рис. 1. Схематичное изображение алгоритма прицеливания робота Fig. 1. Layout view of sighting algorithm of the robot
Рис. 2. Архитектура нейросетевой модели BM-UNet Fig. 2. Architecture of BM-UNet neural model
Исследование методов многоклассовой сегментации пламени на видео для возможности работы в ПО водяной пушки
Задача семантической сегментации пламени по цвету ранее решена в [2]. Базируясь на нейросетевой модели ЦЫй, авторы предлагают использовать модель бинарно-многоклассовой сегментации пламени wUUNet, состоящей из двух ЦЫй блоков, первый из которых находит пиксели пламени в целом, а второй уточняет категорию цвета у пикселя. Выяснено, что, несмотря на более высокую точность сегментации по метрике Жакара, данный метод имеет существенный недостаток в высокой вычислительной нагрузке, не позволяющей ее использовать в роботизированных системах в режиме реального времени.
Для решения данной проблемы разработан блок бинарно-многоклассовой сегментации (рис. 2). Данный блок представлен как модернизация исходной бинарной сегментацион-ной модели путем применения дополнительного многоклассового попиксельного классификатора и гибридной функции потерь, полученной с бинарного (выделенного синим) и многоклассового (зеленым) выходов нейросетевой модели. В работе рассмотрены облегченные модели [BM-]UNet-light [6], свойство которых заключается в двукратном уменьшении размеров слоев. В качестве функции потерь используется гибридная функция (7) бинарно-многоклассового мягкого индекса Жаккара [7] с бинарной кросс-энтропией [8] по бинарной и многоклассовой сегментационной маски, использованной также в работе [2].
Основной метрикой оценки точности сегментации выбрана функция Жаккара [7] (пересечение через объединение), традиционно использующейся в задачах данного рода.
Ь(р, у) - ВСЕв (р, у) + БСБМ (р, у) - ад (Р, У)) ~ (р, У)) (7)
, (ру) _ ЫК - р п 7"1 1 р"у"а 7) (8)
"(Ри, ^) - Р и " р + И - р п Уя\ "I Рп С, ]) + Х Уп С, ])-I рпуп С, ]) ( )
г ,1
к
I у я ) 1о§2 (ря )) + (1 - у я ))1о§2 (1 - рп (К] ))
ВСЕ я (рп, уя) - ^--2--(9)
к
N N
I ВСЕя (рп , уя ) Х^я (рп ,уп )
ВСЕ(р, у) - ^--- , J(р, у) - --(10)
Здесь 0я < р е Яп < 1я - вероятности распознавания целевых классов в пикселе (выход нейросети), N - число классов задачи сегментации, K - число столбцов и строк в квадратной матрице изображения.
Рассматриваем два случая организации вычислений многоклассовой сегментации:
1) сегментация только классов, относящихся к пламени (частичная сегментация кадра):
(в данном случае N — 3 - число классов задачи сегментации; у е[0п,е",...,еп"] - данные
попиксельной разметки задачи сегментации; 0я - [0,0,0,..,0] - нулевой вектор вероятностей наличия целевых объектов в пикселе, означающий класс фона (рис. 3));
2) сегментация классов пламени и отдельного класса фона (полная сегментация кадра)
(рис. 4), где N - 4, уя е [е1я, е2я,..., еяя ] е" - [1,0,0,..,0] - базис-вектор означающий класс фона.
Рис. 3. Иллюстрация частичной сегментации кадра, в рамках которой вычисляются вероятности нахождения объектов только классов A, B, C, вероятность фона - совокупность инвертированных значений вероятности всех классов задачи
Fig. 3. Illustration of partial frame segmentation during which the probability of detecting only A, B, C class objects is computing, background probability is the combination of inverted probability values for all classes of the task
Рис. 4. Иллюстрация полной сегментации кадра, в рамках которой вычисляются вероятности нахождения объектов целевых классов A, B, C и класса фона D
Fig. 4. Illustration of full frame segmentation during which the probability of detecting target A, B, C class and background D class objects is computing
В рамках бинарной сегментации количество целевых классов сужается до одного. Общее количество классов в случае частичной сегментации N=1, и базисные вектора, соответствующие конкретному классу в многоклассовой задаче сегментации, преобразуются по следующей формуле:
й = f(yM ) = {1, ^ [е1, ^ (11)
I 0 Ум = 0 N
В случае полной сегментации N=2 и базис-вектора преобразуются по формуле ниже:
е 2, yM е [е2, ез ,..., eN ]
— - (12) yM = е1
Значения вероятностей нахождения объекта в пикселе, получаемые на выходе
нейросети изменяются в диапазоне [0, 1] благодаря сигмоидной функции активации:
р(=^ (13)
Для использования натренированной сети в реальных условиях необходимо производить бинаризацию, т.е. преобразование вещественного числа в натуральные 0 и 1, означающие, есть ли класс объекта в пикселе или нет.
В рамках задачи полной сегментации кадра бинаризация сводится к поиску индекса класса с максимальным значением вероятности:
Ув = /(Ум ) =
P(Pn , t) earg max(pn) (14)
В контексте задачи частичной сегментации бинаризация осуществляется путем предварительного вычитания порогового значения от вероятности наличия объекта в кадре, и последующего поиска максимального значения вероятности больше нуля.
Pin Л - J eargmax( pn )' Pn t > 0
"I 0,p.~tZ0
Пример распределения вероятностей нахождения объекта пламени (рис. 5).
(15)
Рис. 5. Распределение вероятностей нахождения объекта пламени в пикселях изображения
Fig. 5. Probability distribution for detecting fire objects in image pixels
На данном изображении видно, что большинство вероятностей распределено в вероятностях ближе к 0 и 1. Однако в силу существования пикселей, вероятность которых неравномерно распределена в диапазоне 0,2-0,8, отсечение по заранее определенному константному порогу является близким, но не самым точным способом получения сегментационной маски пламени над изображением.
Для нахождения оптимального порога отсечения t используется каскадно-линейный поиск с 10-кратным уменьшением диапазона поиска и шага на каждом этапе:
10
tl+1= max (P(p,t)•YiS(tl - 10-(i+1)n)).
t<äti -10-i ,ti +10-i ] ,,, L1 n=-10
(16)
где 5 - дельта функция Дирака для обозначения дискретизации диапазона поиска значений, / е [1,5] - количество итераций уточнения порога (до 5-го знака после запятой, эффективно для вычислений для 32-битных вещественных чисел) (рис. 6).
Рис. 6. Визуализация работы алгоритма поиска оптимального порога бинаризации Fig. 6. Visualization of algorithm workflow for defining the optimal binarization threshold
В расчет берутся облегченные модели класса UNet и BM-UNet, работающие в однооконном режиме и осуществляющие сегментацию изображений разрешения 224x224 точки. Оранжевая кривая демонстрирует график точности сегментации (ось ординат) на тренировочном множестве, в то время как синяя - на тестовом (рис. 7). Необъодимо отметить, что, начиная с 1000-й эпохи (ось абсцисс), значения точностей расходятся. Для тренировки используется метод градиентного спуска Adam [9] с перезапуском каждые 300 эпох [10] для достижения лучшего локального минимума функции потерь. Начальные веса инициализируются по равномерному распределению Ксавье [11].
Рис. 7. График точности по метрике Jaccard для модели UNet
Fig. 7. Precision curve based on Jaccard metrics for UNet model
Для преодоления данного эффекта модель UNet подвергаем модернизации, используя слои нормализации батча данных [12] между сверточным и активационным:
Л x - M(x)
x= I 2 (17)
yja + s
Видно, что дивергенция успешно устраняется, и значения на тестовых данных сходятся вместе с тренировочными на протяжении всей тренировки (рис. 8).
Рис. 8. График точности по метрике Jaccard для UNet с применением слоев нормализации
Fig. 8. Precision curve based on Jaccard metrics for UNet model with normalization layers
Модели полной сегментации справляются существенно лучше, чем модели частичной, и наиболее точной из данных моделей является модель BM-UNet с применением слоев нормализации (табл. 1).
Таблица 1.
Показатели средней точности по метрике Жаккарда рассмотренных нейросетевых моделей
Table 1.
Mean-precision variables of the considered neural models
according to Jaccard metrics
Модель Точность (224x224), %
Ц№1 част. 86.21
Ц№1 част., норм. 88.52
Ц№1 полн., норм. 97.07
ВМ-и№1 част., норм. 87.99
ВМ-Ц№! полн., норм. 97.20
В среднем BM-UNet производит вычисления над изображением за 46 мс, что соот-вествует 21 кадру в секунду. С учетом использования трех изображений для поиска дистанции до цели, корректировка прицела осуществляется достаточно быстро - за 144 мс. В следующей главе описан прототип робота водяной пушки, использующий нейросетевую модель BM-UNet для стрельбы.
Прототип водяной пушки и его натурные испытания
Перед процедурой тестирования для вычисления зависимости угла приращения ф от уровня зума z применяется процедура калибровки, в рамках которой с команды вручную подается вода в точку тушения. При достижении необходимой цели попадания струи по центру кадра, фиксируется угол приращения ф и производится многократное приращение уровня зума. Этот процесс происходит до тех пор, пока не будет выполнено условие 85 % заполняе-мости кадра объектом-паттерном обнаружения (в нашем случае - прямоугольник желтого цвета). Таблица калибровочных значений угла приращения от уровня зума камеры представлена ниже (табл. 2). Жирным шрифтом выделены уровни зума физических объективов. Промежуточные уровни зума достигаются программным путем и драйверами устройства под ОС Android.
Таблица 2.
Результаты калибровки прицела робота-водяной пушки
Table 2.
Results of calibrating the sight of water cannon robot
Уровень зума, z 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0
Угол вертикального Приращения привода дула ф 0 4 8 14 24 32 38 46 55
Величина горизонтального сдвига в пикселях у 0 22 13 -1 -12 -26 -42 -59 -75
Робот-водяная пушка успешно протестирован в процессе тушения леса в малых масштабах. Тестирование проводилось в рамках горения миниатюрного леса при температуре окружающей среды 25 °С и отсутствии ветра. До момента выявления пламени робот простаивает в стадии ожидания. После обнаружения очага выполняется алгоритм подсчета дистанции, используя стереоизображение и вычисление показателей корректировки подачи воды (рис. 9).
Рис. 9. Обнаружение очага пламени роботом, стерео-зума для обнаружения угла стрельбы
Fig. 9. Robot detecting flame body, stereo-zoom detecting firing angle
При помощи алгоритма ленточного поиска оптимальной зоны горения выполняется прицеливание в зону пожара, а затем осуществляется тушение очага пожара струей воды (рис. 10). Конечный результат опыта - пожар потушен, лес не успел сгореть.
Рис. 10. Поиск оптимальной зоны горения и ее тушение Fig. 10. Detecting optimal burning area and its extinguishment
Выводы
Предложена программно-аппаратная база для управления процессом тушения лесного пожара при помощи оптимизации алгоритмов многоклассовой сегментации пламени. Работа алгоритмов демонстрируется при помощи водяной пушки в автоматическом режиме. Применены нейросетевые методы многоклассовой семантической сегментации пламени на RGB изображении. Установлено, что метод BM-UNet полной сегментации кадра (с учетом класса фона) работает точнее методов семейства UNet и вариантов частичной сегментации (без учета класса фона). Алгоритм встроен в ПО смартфона, работающего на базе ОС Android и используемого в качестве головного устройства прототипа роботизированной водяной пушки. На основе многоклассовой сегментации пламени продемонстрированы подходы к вычислению дальности стрельбы и показателей вертикального угла приращения и горизонтального попиксельного смещения прицела, и вычислению оптимальной зоны тушения за счет ленточного сканирования области горения. Прототип робота водяной пушки успешно протестирован, его программно-алгоритмическая база доказала свою эффективность.
Библиографический список
1. Ronneberger O, Fisher P., Brox T. U-Net: Convolutional networks for biomedical image segmentation // arXiv: 1505.04597[cs.CV], 2015.
2. Bochkov V.S., Kataeva L.Yu. wUUNet: Advanced Fully Convolutional Neural Network for Multiclass Fire Segmentation // Symmetry, 2021, 13, no. 1: 98. https://doi.org/10.3390/sym13010098
3. Bochkov V.S., Kataeva L.Yu., Belotserkovskaya I.E., Ilicheva M.N. Prototype of forest fire suppression robotics system based on exclusion of flame configuration from monocular video sequence // ARPN Journal of Engineering and Applied Sciences, 2019, vol. 14, no. 9, pp. 1719-1730.
4. Brownlee J. Why One-Hot Encode Data in Machine Learning? // URL:https://machinelearningmastery. com/why-one-hot-encode-data-in-machine-learning/ (дата обращения 20.12.2022)
5. Kataeva L.Y., Maslennikov D.A., Loshchilova N.A. On the laws of combustion wave suppression by free water in a homogeneous porous layer of organic combustible material // Fluid Dynamics, 2016, vol. 51, pp. 389-399.
6. BochkovV., Kataeva L. The Unet and wuunet models optimization for real-time computations on mobile phones // Scientific research of the SCO countries: synergy and integration. Part 2, Beijing, 2021, pp. 140-145. https://doi.org/10.34660/INF.2021.54.93.029.
7. Jaccard P. Etude comparative de la distribution florale dans une portion des Alpes et des Jura, Bulletin de la Soci'et'e Vaudoise des Sciences Naturelles., 1901, vol. 37, pp. 547-579.
8. Pincus H., Signer B.H. Randomness and degrees of irregularity // Natl. Acad. Sci. USA, 1993, pp. 2083-2088. https://doi.org/10.1073/pnas.93.5.2083
9. Kingma D., Ba J. Adam. A method for stochastic optimization // arXiv: 1412.6980 [cs.LG], 2014.
10. Loshchilov I., Hutter, F. SGDR: Stochastic gradient descent with warm restarts // International Conference on Learning Representations, Toulon, France, 2017.
11. Glorot X., Bengio Y. Understanding the difficulty of training deep feedforward neural network // The Thirteenth International Conference on Artificial Intelligence and Statistics, Sardinia, Italy, 2010, pp. 249-256.
12. Ioffe S., Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift // arXiv:1502.03167 [cs.LG], 2015.
Дата поступления
в редакцию: 20.12.2022
Дата принятия к публикации: 02.02.2023
