МОДЕЛЬ ИДЕНТИФИКАЦИИ СТАЛЬКОВШЕЙ В СТАЛЕПЛАВИЛЬНОМ ПРОИЗВОДСТВЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

Научная статья УДК 004.932.2

https://doi.org/10.23859/1994-0637-2021-1-100-5

© Ярослав Максимович Трофименко1н, Евгений Валентинович Ершов2, 2021

1 Череповецкий государственный университет, Череповец, Российская Федерация, 1trofimenko.y.m@yandex.ru, https://orcid.org/0000-0001-9286-5340 2ershov_ev@mail.ru, https://orcid.org/0000-0003-2888-4242

© Yaroslav M. Trofimenko1H, Evgeniy V. Ershov2, 2021

1 2Cherepovets State University, Cherepovets, Russian Federation, 'trofimenko.y.m@yandex.ru, https://orcid.org/0000-0001-9286-5340 2ershov_ev@mail.ru, https://orcid.org/0000-0003-2888-4242

Модель идентификации стальковшей в сталеплавильном производстве

Аннотация. В статье рассматриваются модель обнаружения объектов на изображении и модель идентификации стальковшей. Модель обнаружения объектов основана на использовании сверточной нейронной сети, модель идентификации - на сопоставлении признаков стальковшей, характерных для производственного процесса. В статье описывается адаптация моделей к условиям архитектуры YOLOv3 и к параметрам стальковшей в сталеплавильном производстве. В заключительной части исследования приведены результаты моделирования.

Ключевые слова: сталеразливочный ковш, обработка изображений, идентификация объектов, сверточная нейронная сеть, YOLOv3.

Identification model of steel-teeming ladles in steelmaking

Abstract. A model for detecting objects in the image and a model for identifying steel-teeming ladles are discussed in the article. The object detection model is based on the use of a convolutional neural network. The identification model is based on the comparison of steel-teeming ladle features specific to the production process. The authors describe the adaptations of models to the conditions of the YOLOv3 architecture and the parameters of steel-teeming ladles in steel production. Simulation results are given at the end of the article.

Keywords: steel-teeming ladle, image processing, object identification, convolutional neural network, YOLOv3.

Введение

Сталеразливочные ковши предназначены для приема металла, его выдержки и разливки. Ковш представляет собой выполненный из стальных листов футерованный сосуд, имеющий форму усеченного конуса, расширяющегося кверху. Стальковш является важной частью технологического процесса, который должен протекать согласно временным рамкам определенным технологией выплавки, доводки, разливки стали; это сложный объект со своими характеристиками, такими как размер, возможные способы перемещения, температура на различных этапах технологического

процесса и т. д.

Идентификация сталеразливочных ковшей представляет собой сложный многоуровневый процесс, который можно разделить на 2 части: 1) обнаружение объекта на изображении с камеры и определение его положения в кадре; 2) классификация на основании массива данных из разных систем. Обнаружение нестандартных объектов на изображении является сложной задачей; ее можно решить, используя современные средства обработки изображений - сверточные искусственные нейронные сети. Благодаря развитию фреймворков, предоставляющих доступ к готовым архитектурам, отсутствует необходимость формирования архитектуры сети вручную, что упрощает создание и ускоряет экспериментальную проверку модели.

Основная часть

Использование искусственных нейронных сетей для обнаружения объектов на изображении позволяет выполнять автоматический анализ видеопотока, поступающего с цеховых камер, с последующим определением наличия или отсутствия сталь-ковша в определенной области.

Принцип работы нейросетей основан на автоматическом выделении ключевых признаков объекта относительно фона в процессе обучения. В нашем случае такими объектами являются сталеразливочные ковши, обладающие параметрами, описанными во введении. Поскольку для задачи слежения за стальковшами требуется не просто обнаружение объекта в кадре, а определение его положения и отслеживание перемещения, то использование нейросетей архитектуры по типу многослойного персептрона не имеет смысла. Для решения данной задачи подходят сверточные нейронные сети, обладающие более сложной конфигурацией и высокой точностью распознавания.

На начальном этапе работы сверточной нейросети происходит выделение признаков в карты признаков, это осуществляется при помощи операции свертки. Карты признаков представляют собой массив матриц (тензор), в котором каждый канал отвечает за конкретный признак. Для обнаружения таких признаков в слое есть фильтры (ядра), являющиеся набором тензоров, имеющих один и тот же размер. Количество фильтров определяет глубину выходного 3Б-массива, глубина фильтров совпадает с количеством каналов входного изображения; таким образом, если на вход поступает ЯвВ-изображение, то сверточный слой будет содержать в себе фильтры глубиной 3 (по количеству цветовых составляющих Я, в и Б)1.

Операция свертки, используемая для формирования признаков, представляет собой вычисление нового значения выбранного пикселя с учетом значений окружающих пикселей. Свертка выполняется путем наложения фильтра на части изображения, начиная с левой верхней и заканчивая правой нижней частью, с покомпонентным умножением значений фильтра на значения изображения. Полученные матрицы суммируются в одну, после чего к каждому значению добавляется величина смещения фильтра; такую матрицу можно считать каналом выходной карты признаков.

1 Goodfellow I., Bengio Y., Courville A. Deep Learning. - URL: https://www.deeplearning-book.org_(^ara обращения: 03.09.2020).

После получения каналов для каждого из фильтров данные матрицы организуются в единый тензор, позволяющий сформировать изображение на выходе слоя, но с другим числом каналов и размером.

К гиперпараметрам сверточного слоя можно отнести следующие1:

- число признаков (f) - количество фильтров в слое;

- размер фильтра (f) - высота и ширина тензора фильтров (наиболее распространены размерности 3 и 5);

- шаг свертки (S) - количество пикселей, на которые перемещается фильтр по входному изображению;

- дополнение нулями (P) - количество пикселей, добавляемых с каждого края изображения.

Входными параметрами сверточного слоя являются следующие:

- тензор размером Щ х H х D , где W и H - ширина и высота входного изображения, а D - количество каналов входного изображения;

- 4 гиперпараметра -fc, fs, S, P.

Выходным параметром слоя будет являться тензор размером Щ х И2 х Д, где

(Щ - fs + 2P)

W 1 Js-; (1)

2 S +1

H = ( H - + 2P); (2)

2 s+1

D2 = fc. (3)

После сверточного слоя следует слой подвыборки (пулинга), он позволяет уменьшить пространство признаков без потери важной информации. Среди различных вариантов слоя подвыборки наиболее распространен максимальный пулинг, его входными параметрами являются:

- тензор размером Щ х H х D , где W\ и И - ширина и высота входного тензора после сверточного слоя, а Dx - количество каналов входного тензора;

- к - шаг пулинга, количественная мера сокращения величины входного тензора

w H

Выходной параметр слоя будет иметь вид тензора размерностью — х —- х Д.

к к

Слои свертки обычно сопровождаются слоем активации. Слой активации представляет собой активационную функцию, применяемую к каждому элементу входного изображения. Наиболее распространенными функциями активации являются ReLU, Sigmoid, Tanh, LeakyReLU. Размерность входа и выхода данного слоя совпадают и имеют стандартный вид Щ х H х D .

1 Long J., Shelhamer E., Darrell T. Fully Convolutional Networks for Semantic Segmentatio. -URL:https://arxiv.org/pdf/1411.4038.pdf (дата обращения: 03.09.2020)._

Конечным слоем нейросети обычно является полносвязный слой, содержащий матрицу весовых коэффициентов и вектор смещений. Данный слой не имеет отличий от подобных слоев в обыкновенной полносвязной нейросети. Количество входных значений определяется количеством выходов предыдущего слоя, а количество выходных значений - количеством классов, которые необходимо распознавать1.

Математическая модель идентификации стальковшей основана на определении набора признаков, имеющихся в базе данных; по ним можно сопоставить обнаруженный на изображении объект с реальным сталеразливочным ковшом.

Для каждого элемента множества М параметров марок стали, выплавляемых в сталеплавильном производстве, существует набор отдельных непересекающихся подмножеств О, представляющих собой набор технологических операций, и соответствующих им параметров 5", необходимых для выплавки требуемой марки стали. Текущие параметры стальковша Р, не прошедшего идентификацию, относятся к подмножеству Ы, принадлежащему множеству М.

Множество М = {т1, т2,..., тп} формируется на основе технологических данных,

имеющих отношение к выплавляемым маркам стали, используемым в производстве. Для каждой марки стали тп существует свой ГОСТ и наборы технологических инструкций, определяющих процессы выплавки, доводки и разливки. ГОСТ и наборы технологических инструкций, в свою очередь, формируют подмножества О = {<о, о2,..., оп}. При этом каждая отдельная инструкция может описывать набор

параметров 5 = {^, ^,..., ^ }, характеризующих возможное состояние стальковша на

том или ином участке от выплавки до разливки.

Для каждого перемещения стальковша Р из подмножества N и возможных параметров 5 из подмножества О можно выделить набор признаков Е(5) = {,/2,...,/п}, являющихся элементами конечного множества перемещений, возможных для сталь-ковша Ь = {^,/2,/3,..., 1п}. Каждое перемещение из множества Ь представляет собой

определенное расстояние внутри цеха, которое должен преодолеть стальковш в процессе эксплуатации в пределах одной плавки. Для каждого перемещения существуют свои пределы значений, обусловленные географией цехов и переделами сталеплавильного производства.

В процессе идентификации выполняется проверка соответствия признаков Е(Р)

признакам из множества значений признаков {Е(5),Е(5),...,Е(5к)} для каждого

конкретного О. В том случае, если значения признаков Е(Р) соответствуют указанным признакам, можно утверждать, что перемещение сталеразливочного ковша относится к одному из подмножеств О множества М.

Описанная ранее модель идентификации используется с учетом применения сверточной искусственной нейронной сети, основанной на архитектуре УОЬОуЗ . Эта архитектура является одной из наиболее быстрых и точных среди ряда архитектур

1 Dumoulin V., Visin F. A guide to convolution arithmetic for deep learning. https://arXiv: 1603.07285v2 (дата обращения: 03.09.2020).

URL:

ISSN 1994-0637 (print)

сверточных нейросетей1. Для использования данной нейросети необходимо задать параметры для ее конфигурации, определяемые следующими факторами:

1) количеством классов, объекты которых необходимо отслеживать;

2) соотношением размера объекта с размером изображения и соотношением сторон изображения.

Количество классов влияет на количество фильтров в сверточных слоях, рассчитываемое по следующей формуле:

filters = (classes + 5) • 3, (4)

где classes - количество классов, filters - количество фильтров (в том случае, если требуется распознавать объекты одного класса (сталеразливочный ковш), количество фильтров для каждого сверточного слоя должно быть равно 18). Кроме того, количество классов влияет на максимальное количество пакетов данных, формируемых при обучении, которое рассчитывается по следующей формуле:

max _ batches = classes • 2000, (5)

где classes - количество классов, max batches - количество пакетов данных (для случая с одним классом), однако при этом оно не должно быть меньше количества изображений в обучающей выборке.

Соотношение размера объекта с размером изображения косвенно влияет на параметры width и height, отвечающие за размерность входа нейросети; так как вход должен обладать размерностью RxR, значения параметров height и width обычно равны. Таким образом, любое изображение, поступающее на вход нейросети, будет приведено к соответствующему размеру. Если изображение имеет соотношение сторон как у прямоугольника (16:9, 16:10), то искажения неизбежны. Параметры height и width должны быть равны и представлять собой число, кратное 32. Кроме того, если размер исходного изображения меняется под размер входа нейросети и распознаваемые объекты становятся размером менее 10 % от высоты изображения, то обнаружение объектов становится затруднительным или невозможным2. Размерность входа должна быть определена эмпирически на основании всех вышеперечисленных требований.

Перед процессом обучения сверточной нейросети необходимо сформировать обучающую выборку и разметить на ней искомые объекты. Для нейросети YOLOv3 существует инструмент Yolo_mark, который позволяет выполнить разметку изображений согласно конфигурации нейросети, а также сформировать список изображений и файлов разметки для обучающей выборки.

Идентификация обнаруженного в кадре стальковша должна осуществляться на основании ряда следующих параметров:

1 Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. - URL: https://arXiv: 1804.02767v1 (дата обращения: 03.09.2020).

2 Axis Communications. Идентификация и распознавание. - URL: https://www.axis.com/ru-ru/learning/web-articles/identification-and-recognition/resolution (дата обращения: 03.09.2020).

- допустимые временные пределы нахождения сталеразливочного ковша на том или ином участке сталеплавильного производства (T);

- возможные варианты положения стальковша на конкретном этапе технологического процесса, согласно технологической инструкции (PT);

- фактическое положение стальковша, полученное в результате работы нейросети (PR);

- дополнительная информация по технологическому процессу из базы данных

A.

Далее выполняется сравнение данного набора признаков F(P) с набором F(S) с целью сопоставления сталеразливочного ковша, найденного в кадре, с реальным ковшом. Выражение для идентификации можно представить в следующем виде:

Indent = T л р л р л A, (6)

где отдельные составляющие являются параметрами, вычисляемыми по отдельным выражениям. Так, установление соответствия Т допустимым временным пределам для текущей длительности нахождения сталеразливочного ковша на участке можно описать следующим выражением:

ГО, если > ^оп

1Л если Ядоп < tфакт < 12доп ,

где /факт - фактическое время нахождения стальковша в кадре; /доп - допустимое время нахождения стальковша на участке; /1доп - нижняя граница допустимого времени нахождения на участке; /2доп - верхняя граница допустимого времени нахождения стальковша на конкретном участке.

Возможные варианты положения стальковша на определенном этапе технологического процесса характеризуются формулой (8):

= Г°, если p е[р, P2.....Pn ], (8)

[1, еслиp е[P,P,,...P,]

где p - текущее возможное положение, а [P,P2,...,Pn] - массив возможных положений для текущей плавки.

Фактическое положение стальковша, полученное в результате работы нейросети, можно представить в виде формулы (9):

Г°, если E = 0 Pr [1, если E , (9)

где E - множество, формируемое выходами нейросети и содержащее объекты (стальковши), найденные в кадре.

Дополнительная информация о стальковше из базы данных Ad представляет собой результат функционирования аналитического модуля, сопоставляющего данные по планированию и фактические данные с агрегатов для формирования списка исполь-

зуемых в работе стальковшей и агрегатов с целью определения вероятности наличия стальковша на данном участке. Итог этого определения можно представить в виде формулы (10):

где probability - значение, вычисляемое в аналитическом модуле.

В результате адаптации были получены необходимые параметры для моделей, которые необходимо проверить на тестовых данных. К таким параметрам можно отнести количество классов, фильтров и максимальное количество пакетов данных. Значения параметров и описание результатов экспериментов приведены ниже.

Для настройки конфигурации сверточной нейросети использовались следующие параметры:

- количество классов, равное 4: верх ковша, пустой ковш, ковш с металлом, ковш на телеге. Данные классы выделены в отдельные для возможности распознавания стальковшей с разных камер, поскольку угол расположения камер значительно меняется на разных участках цеха;

- количество фильтров, вычисляемое по формуле (4): (4 + 5)-3 = 27;

- максимальное количество пакетов данных, определяемое по формуле (5): 4-2000 = 8000.

Для уточнения влияния размерности входного слоя на точность распознавания был проведен эксперимент, заключающийся в обучении нейросети на одном и том же наборе данных, но на разных размерностях.

Для определения качества обучения использовались две ключевые метрики:

- mAP (mean Average Precision) - среднее значение точности, служащее для индикации точности распознавания объектов;

- IoU (Intersection over Union) - метрика степени пересечения между объектом, размеченным в обучающей выборке, и объектом, найденным при обучении.

В качестве проверяемых размерностей входного слоя были взяты следующие:

- минимальная размерность, равная 384x384. В случае дальнейшего уменьшения размерности удаленные объекты на изображении начинают занимать область меньше 10 % от высоты изображения, или 38 пикселей, что не позволит достоверно распознавать их. Результаты эксперимента для данной размерности приведены на рис. 1;

- средняя размерность, равная 416x416. Она является размерностью по умолчанию для конфигурации YOLOv3 и изначально задана в конфигурационном файле. Результаты эксперимента для данной размерности представлены на рис. 2;

- увеличенная размерность, равная 480x480. При данной размерности удаленные объекты на изображении занимают область 50x50, что является достаточным для достоверного их детектирования. Результаты эксперимента для такой размерности приведены на рис. 3.

НАУКИ

стальковшеи в сталеплавильном производстве

0, если probability < 0,4

1, если probability > 0,4'

(10)

Результаты обучения сети размерностью 384 Х384

Итерации, тыс.

Рис. 1. График обучения нейросети размерностью 384 х 384

Результаты обучения сети размерностью 416 Х 416

Итерации, тыс.

Рис. 2. График обучения нейросети размерностью 416x416

Результаты обучения сети размерностью 480 Х 480

Итерации, тыс.

Рис. 3. График обучения нейросети размерностью 480 х480

Выводы

В результате экспериментов было установлено, что размерность 480x480 является достаточной для приемлемого уровня точности работы модели. Значение шЛР, приближающееся к 100 %, служит индикатором того, что поиск объектов на изображении выполняется с большой точностью, а высокое значение 1ои показывает, что

размер найденных объектов близок к таковому в обучающей выборке. Идентификация играет ключевую роль в процессе отслеживания перемещения стальковшей внутри сталеплавильного производства, поскольку без нее невозможно корректно отследить текущее положение и в дальнейшем сформировать путь движения сталь-ковша от выплавки стали до ее разливки.

Список литературы

Axis Communications. Идентификация и распознавание. - URL: https://www.axis.com/ru-ru/learning/web-articles/identification-and-recognition/resolution (дата обращения: 03.09.2020).

Dumoulin V., Visin F. A guide to convolution arithmetic for deep learning. - URL: https://arXiv: 1603.07285v2 (дата обращения: 03.09.2020).

Goodfellow I., Bengio Y., Courville A. Deep Learning. - URL: https://www.deeplearning-book.org (дата обращения: 03.09.2020).

Long J., Shelhamer E., Darrell T. Fully Convolutional Networks for Semantic Segmentatio. -URL:https://arxiv.org/pdf/1411.4038.pdf (дата обращения: 03.09.2020).

Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. - URL: https://arXiv: 1804.02767v1_(дата обращения: 03.09.2020).

References

Axis Communications. Identifikatsiia i raspoznavanie [Identification and recognition]. Available at: https://www.axis.com/ru-ru/learning/web-articles/identification-and-recognition/resolution (accessed: 03.09.2020).

Dumoulin V., Visin F. A guide to convolution arithmetic for deep learning. Available at: https://arXiv:1603.07285v2 (accessed: 03.09.2020).

Goodfellow I., Bengio Y., Courville A. Deep Learning. Available at: https://www.deeplearning-book.org (accessed: 03.09.2020).

Long J., Shelhamer E., Darrell T. Fully Convolutional Networks for Semantic Segmentation. Available at: https://arxiv.org/pdf/1411.4038.pdf (accessed: 03.09.2020).

Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. Available at: https:// arXiv:1804.02767v1 (accessed: 03.09.2020).

Для цитирования: Трофименко Я. М., Ершов Е. В. Модель идентификации стальковшей в сталеплавильном производстве // Вестник Череповецкого государственного университета. -2021. - № 1 (100). - С. 68-77. https://doi.org/10.23859/1994-0637-2021-1-100-5

For citation: Trofimenko Ya. M., Ershov E. V. Identification model of steel-teeming ladles in steelmaking. Cherepovets State University Bulletin, 2021, no. 1 (100), pp. 68-77. https://doi.org/ 10.23859/1994-0637-2021-1-100-5

Заявленный вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.

Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.

Сведения об авторах

Аспирант, https://orcid.org/0000-0001-9286-5340, trofi-menko.y.m@yandex.ru, Череповецкий государственный университет (д. 5, пр-т Луначарского, 162600 г. Череповец, Российская Федерация) / Postgraduate student, https:// orcid.org/0000-0001-9286-5340, trofimenko.y.m@yandex. ru, Cherepovets State University (5, Lunacharsky pr., 162600 Cherepovets, Russian Federation). Ершов Евгений Валентинович / Доктор технических наук, профессор, https://orcid.org/ Ershov Evgeniy V. 0000-0003-2888-4242, ershov_ev@mail.ru, Череповецкий

государственный университет (д. 5, пр-т Луначарского, 162600 г. Череповец, Российская Федерация) / Doctor of Technical Sciences, Professor, https://orcid.org/0000-0003-2888-4242, ershov_ev@mail.ru, Cherepovets State University (5, Lunacharsky pr., 162600 Cherepovets, Russian Federation).

Трофименко Ярослав Максимович / Trofimenko Yaroslav M.

Статья поступила в редакцию: 30.10.2020 Одобрена после рецензирования: 30.11.2020 Принята к публикации: 11.12.2020

The article was submitted: 30.10.2020 Approved after reviewing: 30.11.2020 Accepted for publication: 11.12.2020