CC BY
40
УДК 004.89
DOI: 10.17586/0021-3454-2021-64-3-202-207
РАЗРАБОТКА СВЕРТОЧНОГО СЛОЯ ГЛУБОКОЙ НЕЙРОННОЙ СЕТИ ДЛЯ ОПРЕДЕЛЕНИЯ ДЕФЕКТОВ МЕТАЛЛОПРОКАТА
Д. Г. Привезенцев1, К. В. Мортин1, А. Л. Жизняков1, Д. В. Титов2
1 Муромский институт (филиал) Владимирского государственного университета им. А. Г. и Н. Г. Столетовых, 602264, Муром, Россия E-mail: dgprivezencev@mail.ru 2Юго-Западный государственный университет, 305040, Курск, Россия
Рассматривается сверточный слой глубокой нейронной сети, предназначенный для определения дефектов металлопроката. Для определения дефекта предлагается использовать алгоритмы сегментации дефектоскопических изображений и несколько видов фильтрации внутри сверточного слоя. Фильтрация основана на применении комбинированных алгоритмов свертки с различными исходными масками. Для минимизации ошибки на выходе сверточного слоя используется функция активации GELU. Приведены результаты экспериментов.
Ключевые слова: дефектоскопическое изображение, сверточный слой, фильтрация, глубокая нейронная сеть, свертка
В настоящее время при неразрушающем контроле для классификации и обнаружения дефектов используются различные методы и алгоритмы распознавания образов, адаптированные к конкретному виду контроля [1—6]. Однако в более широком контексте задачу можно рассматривать как обнаружение дефектов в текстурированном материале, чему уделяется значительное внимание в технологии компьютерного зрения. При этом следует отметить, что преобладают алгоритмы распознавания на основе искусственных нейронных сетей.
Задача поиска дефектов металлопроката на цифровом изображении обычно состоит из нескольких частей:
— обнаружение дефекта (подтверждение факта наличия дефекта);
— сегментация изображения (выделение области дефекта);
— классификация дефекта.
Такие задачи решаются с использованием различных алгоритмов адаптивного усиления [7], каскадных классификаторов на основе метода Виолы — Джонса [8—10], алгоритмов комплексного анализа [10] и др.
Относительно новым подходом к решению задач анализа изображений и, в частности, автоматического обнаружения и распознавания дефектов металлопроката является использование сверточных нейронных сетей [11—14].
Математическую модель многоуровневой сверточной нейронной сети и ансамбль ее слоев можно представить следующим образом. Под l е {Lj понимается слой многослойной
сверточной нейронной сети, рассматриваемый в данный момент, где |L| = 2a + 2, a е Z+ — количество слоев в сети, l - Nl — количество карт признаков слоя, f (A) — функция активации слоя l, y'n — n-я карта признаков слоя lj.
Для n-й карты признаков принимаются следующие обозначения:
wLn = {WL n (i, j)} — свертка, применяемая в карте признаков m-го слоя (/ -1), на слое l с n-й картой признаков;
Ъп — пороговые значения, присоединяемые к п-й карте признаков слоя I; У1п — список всех уровней слоя (I -1), которые соединяются с п-й картой признаков слоя I.
Следовательно, п-я карта признаков сверточного слоя I вычисляется следующим образом:
С \
г
У п = /I
У У1 -1 ® V + Ъ1
/ 1 ^ т т,п п
где ® — математическая операция двумерной свертки.
Исходя из того, что входной размер карты признаков ут-1 равен И1 1 • Ж1 1, размер при-
г г г
меняемой к карте признаков свертки н,тп равен г • с , а выходной размер карты признаков у1п равен [И1 1 -гг + 1)-(Иг 1 -сг +1) . Для п-й карты признаков вводится также обозначение п — фильтр, применяемый на слое I.
Классическая структура сверточной нейронной сети не подходит для процесса свертки дефектоскопического изображения, так как в этом случае сегментация исходного изображения не выполняется. Следовательно, для анализа таких изображений необходимо изменить содержимое слоев свертки и субдискретизации.
Вместо классической расстановки фильтров 7x7, 6x6, 5x5, 4x4, 3x3, 2x2 следует использовать только фильтры 2x2 по строкам и столбцам дефектоскопического изображения. Выбор такого размера фильтра обусловливается последующей сегментацией, и использование фильтров больших размеров приведет к искажению контура определяемого дефекта. Выбрав таким образом размеры окна фильтра, получим 28 слоев свертки.
Для получения весов свертки необходимо определить количество нейронов слоя. Так как используется комбинация функций активации SELU и GELU [14—15], то для работы сети необходимо 238 нейронов.
Субдискретизация применяется для уменьшения общего размера дефектоскопического изображения и увеличения степени инвариантности применяемых фильтров. Анализируя архитектуру глубокой сверточной нейронной сети, целесообразно опереться на следующую гипотезу: наличие какого-либо признака дефекта на изображении важнее, чем точное знание координат дефекта. Следовательно, суть субдискретизации — это выбор нейрона с максимальным весом из нескольких соседних. Такая операция позволяет увеличить инвариантность к масштабу входного дефектоскопического изображения.
Таким образом, глубокая сверточная нейронная сеть характеризуется чередованием слоя свертки и слоя субдискретизации, что позволяет строить иерархические карты признаков. Функция полносвязного слоя на выходе — преобразование карты признаков в вектор.
Рассмотрим структуру многослойной нейронной сети с глубоким обучением каждого слоя (рис. 1).
Пусть X — множество дефектоскопических изображений, У — множество непересекающихся классов дефектов металлопроката, тогда /: X ^У — целевая функция, отображающая множество X на множество У. Значения целевой функции / известны только на конечном множестве пар прецедентов (X^, У.) — обучающей выборке. Выражение / (Хк ) = У1 означает, что на дефектоскопическом изображении Xk присутствует дефект Уг. Восстановив функциональную зависимость между дефектоскопическими изображениями и исходным определением дефекта, построим алгоритм А : X ^У, обладающий следующими свойствами:
— необходимость фиктивной численной реализации для отображения /;
— определение дефекта, получаемого из набора исходных изображений X;
— приближение целевой функции как к объектам обучающей выборки, так и ко всему множеству X.
Рис. 1
Параметры сверточного слоя — Р (добавление нулей) и £ (смещение фильтров) — должны быть выбраны таким образом, чтобы его размер был целочисленным и равным размеру предыдущего слоя при условии, что он является слоем субдискретизации. В качестве функции активации слоя субдискретизации используется функция SELU.
В ходе выполнения анализа нейронных сетей был разработан комплексный сверточный слой для сегментации и фильтрации дефектоскопических изображений. Разработанный свер-точный слой реализует алгоритмы сегментации и фильтрации, основанные на использовании масочных фильтров.
Были проведены экспериментальные исследования разработанного сверточного слоя. Свертка дефектоскопического изображения X с ядром g вычисляется как
(X * g)[m, п] = £ £/[т - к, п -/] [к + К, I + Ь ],
к=-К1=-Ь
где размер ядра g равен (2К +1) х (2 Ь +1).
Исследуемые области на дефектоскопическом изображении — это контур дефекта, а именно резкое изменение значения яркости на границе дефекта. Выявление таких областей осуществляется на основе анализа производной изображения.
д/ д/
Вычислим градиент V/ =
дх' ду
направленный в сторону наибольшего изменения
(д//ду ^
интенсивности изображения. Направление градиента задается выражением 0 = tg
д//дх
следовательно нормой градиента:
IV/!=
( я/ V
дУ.
Изменение интенсивности изображения измеряется абсолютной величиной градиента:
|У/ Ж у )|
I (X, У )
? (X, У )
дy
Результат применения данного метода показан на рис. 2, б, исходное изображение приведено на рис. 2, а.
Применим фильтр Гаусса, где гауссова функция используется для вычисления преобразования, применяемого к каждому пикселу изображения. Результат применения фильтра представлен на рис. 2, в. Далее для нахождения контура дефекта применим высокочастотный фильтр с ядром, выражаемым матрицей
"-1 -1 -1 -1 9 -1 -1 -1 -1
Большое значение коэффициента центра ядра определяет действие высокочастотного фильтра. В результате на изображении выделятся резкие изменения яркости пикселов дефекта, а фон изображения останется неизменным (рис. 2, г).
а)_ б)
в)
г)
Рис. 2
Для более эффективного обучения слоев глубокой сверточной нейронной сети сначала его следует обучить на большом наборе данных (обучение производилось на наборе из 12 280 изображений, представленных компанией „Северсталь Диджатал", Москва), а затем произвести подстройку слоев под необходимый набор дефектоскопических изображений. Заново обучаются последние слои, так как в первых слоях содержатся более общее признаки, а последние отвечают за область дефекта, его обводку и определение координат.
Итак, в результате исследования слоев глубокой нейронной сети был разработан специализированный сверточный слой, предназначенный для сегментации и комплексной фильтрации дефектоскопических изображений. В ходе исследований архитектуры слоя были успешно выделены дефекты листового проката на 89 % изображений из тестового набора. Дальнейший анализ показал, что количество и геометрические характеристики обнаруженных дефектов отличаются от значений, полученных квалифицированным оператором-
дефектоскопистом, не более чем на 7 %. Это доказывает возможность использования предложенных алгоритмов в практических задачах дефектоскопии.
Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ (госзадание ВлГУ ГБ-1187/20).
СПИСОК литературы
1. Бархатов В. А. Распознавание дефектов с помощью искусственной нейронной сети специального типа // Дефектоскопия. 2006. № 2. С. 28—39.
2. Бархатов В. А. Обнаружение сигналов и их классификация с помощью распознавания образов // Дефектоскопия. 2006. № 4. С. 14—27.
3. Бархатов В. А., Васильев В. А. Распознавание образов класса, заданного параметрически // Дефектоскопия. 2009. № 2. С. 3—17.
4. Гурвич А . К. Оценка конфигурации дефектов металлопродукции с плоскопараллельными поверхностями усеченным дельта-методом // Контроль. Диагностика. 2013. № 10. С. 68—70.
5. Краснощеков А. А., Соболь Б. В., Соловьев А. М. Идентификация трещиноподобных дефектов в упругих элементах конструкций на основе эволюционных алгоритмов // Дефектоскопия. 2011. № 6. С. 67—75.
6. Никифорова Т. В. Техническая дефектоскопия на основе методов стохастической геометрии // Докл. 12-й Всерос. конф. „Математические методы распознавания образов". М., 2005. С. 392—395.
7. Бутенко В. В. Поиск объектов на изображении с использованием алгоритма адаптивного усиления // Молодой ученый. 2015. № 4. С. 52—56.
8. Проблема поиска объектов на изображениях с помощью компьютерного зрения на основе информации о цвете / А. А. Артемов, М. В Кавалеров, Г. С. Кузнецов // Вестн. ПНИПУ. Электротехника, информационные технологии, системы управления. 2011. № 5.
9. Акимов А. В., Сирота А. А. Модели и алгоритмы искусственного размножения данных для обучения алгоритмов распознавания лиц методом Виолы — Джонса // Компьютерная оптика. 2016. № 6. С. 899—906.
10. Viola P., JonesM. Robust real time face detection // Intern. Journal of Computer Vision. 2004. N 57(2). P. 137—154.
11. GirshickR. Fast R-CNN // Intern. Conf. on Computer Vision (ICC). 2015.
12. Faster R-CNN: towards real-time object detection with region proposal networks / R. Girshick, R. Shaoqing, H. Kaiming // Neural Information Processing Systems (NIPS). 2015.
13. Automatic ship detection based on RetinaNet using multi-resolution / Y. Wang, C. Wang , H. Zhan, G. Yingbo, S. Wei // Remote Sensing. 2019. N 11. P. 531.
14. Silver D., Huang A., Maddison C. et al. Mastering the game of Go with deep neural networks and tree search // Nature. 2016. N 529(7587). P. 484—489.
15. Wainberg M., Alipanahi B., Frey B. J. Are random forests truly the best classifiers? // J. of Machine Learning Research. 2016. N 17(110). P. 1—5.
Сведения об авторах
Денис Геннадьевич Привезенцев — канд. техн. наук; Муромский институт (филиал) ВлГУ; кафедра
программной инженерии; E-mail: dgprivezencev@mail.ru
Константин Владимирович Мортин — Муромский институт (филиал) ВлГУ; кафедра программной инженерии; преподаватель
Аркадий Львович Жизняков — д-р техн. наук, профессор; Муромский институт (филиал) ВлГУ;
кафедра программной инженерии; заведующий кафедрой;
Дмитрий Витальевич Титов — д-р техн. наук; Юго-Западный государственный университет,
Институт международного образования; директор
Поступила в редакцию 23.11.2020 г.
Ссылка для цитирования: Привезенцев Д. Г., Мортин К. В., Жизняков А. Л., Титов Д. В. Разработка сверточного слоя глубокой нейронной сети для определения дефектов металлопроката // Изв. вузов. Приборостроение. 2021. Т. 64, № 3. С. 202—207.
DEVELOPMENT OF A CONVOLUTIONAL LAYER OF A DEEP NEURAL NETWORK FOR DETECTING DEFECTS IN ROLLED METAL
D. G. Privezentsev1, K. V. Mortin1, A. L. Zhiznyakov1, D. V. Titov2
1 Murom Institute of Vladimir State University, 602264, Murom, Russia E-mail: dgprivezencev@mail.ru
2South-West State University, 305040, Kursk, Russia
A convolutional layer of a deep neural network, designed to determine defects in rolled metal products, is considered. To determine the defect, it is proposed to use algorithms for the segmentation of flaw detection images and several types of filtering within the convolutional layer. Filtering is based on the use of combined convolution algorithms with different initial masks. To minimize the error at the output of the convolutional layer, the GELU activation function is used. Results of the experiments are presented.
Keywords: flaw detection image, convolutional layer, filtering, deep neural network, convolution
REFERENCES
1. Barkhatov V.A. Russian Journal of Nondestructive Testing, 2006, no. 2, pp. 92-100.
2. Barkhatov V.A. Russian Journal of Nondestructive Testing, 2006, no. 4, pp. 227-236.
3. Barkhatov V.A. Russian Journal of Nondestructive Testing, 2009, no. 2, pp. 73-85.
4. Gurvich A.K. Kontrol'. Diagnostika (Testing. Diagnostics), 2013, no. 10, pp. 68-70. (in Russ.)
5. Krasnoshchekov A.A., Sobol B.V., Solov'ev A.N., Cherpakov A.V. Russian Journal of Nondestructive Testing, 2011, no. 6, pp. 412-419.
6. Nikiforova T.V. Matematicheskiye metody raspoznavaniya obrazov (Mathematical Methods Pattern Recognition), 12th All-Russian Conference, Materials of reports, 2005, pp. 392-395. (in Russ.)
7. Butenko V. V. Molodoy uchenyy (Young Scientist), 2015, no. 4, pp. 52-56. (in Russ.)
8. Artemov A.A., Kavalerov M.V., Kuznetsov G.S. Vestnik PNIPU. Elektrotekhnika, informatsionnyye tekhnologii, sistemy upravleniya, 2011, no. 5. (in Russ.)
9. Akimov A.V., Sirota A.A. Computer Optics, 2016, no. 6, pp. 899-906. (in Russ.)
10. Viola P., Jones M. International Journal of Computer Vision, 2004, no. 2(57), pp. 137-154.
11. Girshick R. International Conference on Computer Vision (ICC), 2015.
12. Girshick R., Shaoqing R., Kaiming H. Neural Information Processing Systems (NIPS), 2015.
13. Wang Y., Wang C., Zhan H., Yingbo G., Wei S. Remote Sensing, 2019, no. 11, pp. 531.
14. Silver D., Huang A., Maddison C. et al. Nature, 2016, no. 529(7587), pp. 484-489.
15. Wainberg M., Alipanahi B., Frey B.J. Journal of Machine Learning Research, 2016, no. 17(110), pp. 1-5.
Denis G. Privezentsev Konstantin V. Mortin Arkady L. Zhiznyakov Dmitry V. Titov
For citation: Privezentsev D. G., Mortin K. V., Zhiznyakov A. L., Titov D. V. Development of a convolutional layer of a deep neural network for detecting defects in rolled metal. Journal of Instrument Engineering. 2021. Vol. 64, N 3. P. 202—207 (in Russian).
DOI: 10.17586/0021-3454-2021-64-3-202-207
Data on authors
PhD; Murom Institute of Vladimir State University, Department of Software Engineering; E-mail: dgprivezencev@mail.ru Murom Institute of Vladimir State University, Department of Software Engineering; Lecturer
Dr. Sci., Professor; Murom Institute of Vladimir State University, Department of Software Engineering; Head of the Department Dr. Sci.; South-West State University, Institute of International Education; Director of the Institute
