Определение реологических параметров полимеров при помощи методов машинного обучения Текст научной статьи по специальности «Компьютерные и информационные науки»

СТРОИТЕЛЬНАЯ МЕХАНИКА CONSTRUCTION MECHANICS

@ (j)

Ц) Check for updates

УДК 624.04

https://doi.org/10.23947/2949-1835-2024-3-1-71-83

Определение реологических параметров полимеров при помощи методов машинного обучения

А.С. Чепурненко И , Т.Н. Кондратьева

Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация И апЮп chepurnenk@mail.ru

Научная статья

EDN: ECDAUG

Аннотация

Введение. В настоящей работе рассмотрена методика определения реологических параметров материалов, входящих в нелинейную реологическую модель Максвелла-Гуревича, по кривым релаксации напряжений. Представлен обзор основных направлений метаэвристических подходов (локальный поиск, эволюционные алгоритмы) к решению задач комбинаторной оптимизации. Описаны метаэвристические алгоритмы для решения некоторых важных задач комбинаторной оптимизации с особым акцентом на построение деревьев поиска решений. Проведен сравнительный анализ алгоритмов для решения задачи регрессии в CatBoost Regressor. Целью работы является определение реологических свойств полимеров методами машинного обучения.

Материалы и методы. Объектом исследования выступают сгенерированные наборы данных, полученные на основе теоретических кривых релаксации напряжений. Представлены таблицы исходных данных для обучения моделей по всем выборкам, проведен статистический анализ характеристик исходных наборов данных. Общее количество численных экспериментов по всем выборкам составило 346020 вариаций. При разработке моделей использован метод искусственного интеллекта CatBoost, для повышения точности модели применены методы регуляризации (Weight Decay, Decoupled Weight Decay Regularization, Augmentation), для нормализации данных использован метод Z-Score.

Результаты исследования. В результате исследования разработаны интеллектуальные модели для определения реологических параметров полимеров (начальная релаксационная вязкость, модуль скорости) по сгенерированным наборам данных на примере эпоксидного связующего ЭДТ-10. По результатам тестирования моделей с наилучшими параметрами проведены оценки качества: для параметра ц*0 диапазон значений MAPE 0,46 — 2,72, MSE 0,15 — 1,09, RMSE 0,19 — 0,44, MAPE 0,46 — 1,27; для параметра т* — MAPE 0,07 — 0,32, MSE 0,01 — 0,13, RMSE 0,10 — 0,41, MAPE 0,58 — 2,72. Полученные значения метрик являются допустимыми. Графики обучения демонстрируют стабильность процесса.

Обсуждение и заключения. Разработанные интеллектуальные модели являются масштабируемыми и кроссплатформенными, имеют практическое прикладное значение, что обеспечивает их применение в широком спектре научных и инженерных приложений.

Ключевые слова: реология, полимеры, искусственный интеллект, машинное обучение, регрессия, CatBoost

Для цитирования. Чепурненко А.С., Кондратьева Т.Н. Определение реологических параметров полимеров при помощи методов машинного обучения. Современные тенденции в строительстве, градостроительстве и планировке территорий. 2024;3(1):71-83. https://doi.org/10.23947/2949-1835-2024-3-1-71-83

ак и н

а х е

е

ети

о

орт

С

© Чепурненко А.С., Кондратьева Т.Н., 2024

Research article

Determining the Rheological Parameters of Polymers Using Machine Learning Techniques

Anton S. Chepurnenko ED, Tatiana N. Kondratieva

Don State Technical University, Rostov-on-Don, Russia И anton chepurnenk@mail.ru

Abstract

Introduction. The paper investigates the methodology for determining the rheological parameters of materials based on the nonlinear Maxwell-Gurevich rheological model using the stress relaxation curves. The review of the main directions of the metaheuristic approaches (local search, evolutionary algorithms) to solving the combinatorial optimization problems is presented. The metaheuristic algorithms for solving some important combinatorial optimization problems with the special emphasis on building decision trees are described. The comparative analysis of the algorithms for solving the regression problem in CatBoost Regressor is carried out. The aim of the work is to determine the rheological properties of polymers using machine learning techniques.

Materials and Methods. The objects of the study are the generated data sets obtained on the basis of the theoretical stress relaxation curves. The source data tables for model training across all samples are presented, and the statistical analysis of the source data sets characteristics is carried out. The total number of numerical experiments across all samples amounted to 346020 variations. To develop the models, the CatBoost artificial intelligence techniques were used; the regularization techniques (Weight Decay, Decoupled Weight Decay Regulation, Augmentation) were used to increase the model accuracy; and Z-Score technique was used for data normalization.

Results. As a result of the research, the intelligent models for determining the rheological parameters of polymers (initial relaxation viscosity, velocity modulus) have been developed based on the generated data sets on the example of the epoxy binder EDT-10. Based on the testing results of the models with the best parameters, the quality assessments were carried out: for the parameter ^ the range of values MAPE 0.46 — 2.72, MSE 0.15 — 1.09, RMSE 0.19 — 0.44, MAPE 0.46 — 1.27; for the parameter m* — MAPE 0.07 — 0.32, MSE 0.01 — 0.13, RMSE 0.10 — 0.41, MAPE 0.58 — 2.72. The resulting metric values are permissible. The training graphs demonstrate the stability of the process. Discussion and Conclusion. The developed intelligent models are scalable and cross-platform, have practical applied significance that ensures their implementation in a wide range of the scientific and engineering apps.

Keywords: rheology, polymers, artificial intelligence, machine learning, regression, CatBoost

For citation. Chepurnenko AS, Kondratieva TN. Determining the Rheological Parameters of Polymers Using Machine Learning Techniques. Modern Trends in Construction, Urban and Territorial Planning. 2024;3(1):71-83. https://doi.org/10.23947/2949-1835-2024-3-1-71-83

Введение. В настоящее время полимерные материалы и композиты на их основе находят все более широкое применение в строительстве. Как и для традиционных строительных материалов, таких как дерево и бетон, для полимерных материалов характерно явно выраженное явление ползучести. Решение задачи механики полимеров невозможно без определения их реологических свойств. Реологическое поведение полимерных материалов может быть описано линейными [1] и нелинейными моделями [2-5]. Нелинейные модели характеризуются большей сложностью, но в то же время обеспечивают лучшее совпадение с экспериментальными данными. Одной из простейших линейных моделей является модель Максвелла-Томпсона, в которой тело представляется как комбинация вязких и упругих элементов. Введение в данную модель Г.И. Гуревичем зависимости релаксационной вязкости полимера от напряжения позволило получить хорошую сходимость с экспериментом g для многих полимеров [6-10]. В случае одноосного напряженного состояния основное уравнение модели

3 Максвелла-Гуревича имеет вид: g ££* = £*

тр dt ■ц*'

tg

f* = G- Е^£*, (1)

1 1 /1Л\ — = —expl^-l.

где е* — деформация ползучести; /* — функция напряжений; с — напряжение; Ех — модуль

о,

С высокоэластичности; — начальная релаксационная вязкость (далее просто «вязкость»); т — модуль скорости. л

Модуль высокоэластичности представляет собой релаксационную константу, устанавливающую связь между предельной деформацией ползучести (при £ ^ со) и действующим напряжением = ). Определение данной

величины выполняется из экспериментов на ползучесть или релаксацию напряжений и не составляет большого труда в случае выхода экспериментальной кривой на горизонтальную асимптоту. Нахождение величин т* и в то же время связано с определенными трудностями, поскольку теоретические кривые ползучести и релаксации при использовании уравнения Максвелла-Гуревича не могут быть описаны аналитическими функциями. Некоторые алгоритмы определения этих величин представлены в работах [11-13]. Недостатком этих алгоритмов являются высокие требования к качеству экспериментальных кривых.

Большие перспективы в задачах определения свойств материалов, в том числе и полимерных, имеют методы искусственного интеллекта. В статье [14] впервые была представлена методика обработки кривых релаксации полимеров при помощи искусственных нейронных сетей (ИНС). Помимо ИНС к эффективным алгоритмам машинного обучения относится алгоритм CatBoost Regressor (Adaptive Boosting). Adaptive Boosting (AdaBoost) — метаэвристика высокого уровня, принадлежащая классу комбинированных оптимизационных методов, организующая прямой случайный поиск вероятных решений, оптимальных или близких к оптимальным решениям, пока не будет выполнено заданное условие либо достигнуто заданное число итераций. Алгоритмы комбинаторной оптимизации позволяют решать большое количество практических задач, таких как, например, задача коммивояжера, задачи о назначениях, задачи планирования, построение деревьев поиска решений, размерность которых может достигать экспоненциальной. Авторы статей [15-17] предлагают обзор основных направлений метаэвристических подходов (локальный поиск, эволюционные алгоритмы) к решению задач комбинаторной оптимизации. Алгоритмы метаэвристик в задачах поиска оптимального контента имеют широкий спектр задач, в том числе задачи, связанные с обучением моделей, являются альтернативным решением при глубоком обучении нейронной сети, решают проблемы переобучения моделей [16].

При выборе семейств алгоритмов для решения задачи регрессии в CatBoost Regressor часто оставляют выбор в пользу решающих деревьев, хотя это могут быть и линейные алгоритмы, или какие-либо другие.

Часто встречающиеся закономерности в обучающей выборке, которые не могут не присутствовать в тестовой выборке, могут негативно влиять на тестовую выборку или на всю выборку обучающегося пространства, что приводит модель к переобучению. Иными словами, такие закономерности имеют характер совпадения. Чем больше степеней свободы имеет наша модель, тем больше рисков в переобучении.

Так, например, в моделях, построенных на алгоритмах решающих деревьев, переобучение происходит достаточно быстро на простых моделях, чего можно избежать при построении дерева решений с большой глубиной переобучения и добиться идеального качества модели лишь потому, что каждому элементу обучающей выборки будет соответствовать свой лист в решающем дереве.

Весьма наглядным примером является алгоритм ^-ближайших соседей, который подстраивается под обучающую выборку, поскольку среди ^-ближайших соседей рассматриваемого объекта может иметь место выброс или условно локальный шум, которые приведут к ошибке всего алгоритма.

Линейные алгоритмы склонны к переобучению, поскольку для них необходимо учитывать размерность признаков: если размерность признаков из количества признаков будет много больше, то переобучение неизбежно, потому что появится слишком много степеней свободы для небольшого размера выборки.

Конечно, переобучение моделей — это обычная практика при их тестировании, когда есть хоть какое-то условие принятия решения в контексте неполных или разреженных данных, однако на практике в контексте машинного обучения переобучение понимается как значимое отклонение качества модели обучающей выборки от тестовой выборки.

Проведенный анализ предметной области говорит о необходимости расширения инструментов для прогнозирования реологических параметров полимеров, в том числе с применением современных интеллектуальных алгоритмов. Их внедрение позволит сократить время и ресурсы, затрачиваемые на определение физических характеристик материала, ускорить процесс разработки новых продуктов и технологий, а также улучшит качество и конкурентоспособность выпускаемой продукции. а

Целью настоящей статьи является построение модели для прогнозирования реологических параметров к

н

полимера по кривым релаксации напряжений на основе алгоритма CatBoost. $

е

Материалы и методы. Методика обработки кривых релаксации напряжений апробировалась на примере S поксидного связующего ЭДТ-10, выступающего в качестве полимерной матрицы в стеклопластиках. Для ^ обучения модели были сгенерированы три набора данных по методике, приведенной в [14], с различными Й размерностями датасетов. ти

В таблицах 1-3 частично представлены анализируемые массивы данных. Общее количество численных ^ экспериментов составило: ni = 64800 (таблица 1); п = 131220 (таблица 2); пз = 150000 (таблица 3).

Таблица 1

Таблица исходных данных для обучения модели (ni)

№ Деформация, % Напряжение в начале процесса, МПа Напряжение в конце процесса, МПа Время релаксации,ч Условное время окончания процесса, ч Модуль скорости, МПа Вязкость, 106 МПа-с

1 1 20 6,666666667 0,00259842 0,273543249 2 5

2 2 40 13,33333333 3,60E-05 0,110365845 2 5

3 3 60 20 6,30E-07 0,051685264 2 5

4 1 20 6,666666667 0,08131234 8,559969561 2 156,4646

5 2 40 13,33333333 0,00112781 3,453670584 2 156,4646

6 3 60 20 1,97E-05 1,617383311 2 156,4646

7 1 20 6,666666667 0,16002626 16,84639587 2 307,9292

647997 3 120 60 0,00070187 46,05477107 4 14848,53

647998 1 40 20 2,92322874 307,7361555 4 15000

647999 2 80 40 0,04054574 124,1615756 4 15000

648800 3 120 60 0,00070903 46,52455947 4 15000

Таблица 2

Таблица исходных данных для обучения модели (n2)

№ Деформация, % Напряжение в начале процесса, МПа Напряжение в конце процесса, МПа Время релаксации, ч Условное время окончания процесса, ч Модуль скорости, МПа Вязкость, 106 МПа-с

1 1 20 6,666666667 0,00259842 0,273543249 2 5

2 2 40 13,33333333 3,60E-05 0,110365845 2 5

3 3 60 20 6,30E-07 0,051685264 2 5

4 1 20 6,666666667 0,13467771 14,1778857 2 259,1525

5 2 40 13,33333333 0,001868006 5,720317864 2 259,1525

6 3 60 20 3,27E-05 2,678873513 2 259,1525

7 1 20 6,666666667 0,26675701 28,08222816 2 513,3050

131217 3 120 60 0,00069702 45,73627046 4 14745,84

131218 1 40 20 2,92322874 307,7361555 4 15000

131219 2 80 40 0,04054574 124,1615756 4 15000

131220 3 120 60 0,00070903 46,52455947 4 15000

Таблица 3

Таблица исходных данных для обучения модели (пз)

№ Деформация, % Напряжение в начале процесса, МПа Напряжение в конце процесса, МПа Время релаксации, ч Условное время окончания процесса, ч Модуль скорости, МПа Вязкость, 106 МПа-с

1 1 20 6,666666667 0,00259842 0,273543249 2 5

2 2 40 13,33333333 3,60Е-05 0,110365845 2 5

3 3 60 20 6,30Е-07 0,051685264 2 5

4 1 20 6,666666667 0,16163267 17,01550661 2 311,0204

5 2 40 13,33333333 0,00224187 6,865206031 2 311,0204

6 3 60 20 3,92Е-05 3,21503438 2 311,0204

7 1 20 6,666666667 0,32066692 33,75746998 2 617,0408

149997 3 120 60 0,00069456 45,57539516 4 14693,97

149998 1 40 20 2,92322874 307,7361555 4 15000

149999 2 80 40 0,04054574 124,1615756 4 15000

150000 3 120 60 0,00070903 46,52455947 4 15000

В таблицах 4-6 представлены статистические характеристики исходных наборов данных по выборкам: п\, п2, п3 — соответственно.

Таблица 4

Статистические характеристики исходного набора данных (п ¡)

Параметр Деформация, % Напряжение в начале процесса, МПа Напряжение в конце процесса, МПа Время релаксации,ч Условное время окончания процесса, ч Модуль скорости, МПа Вязкость, 106 МПа-с

count 64800,00 64800,00 64800,00 64800,00 64800,00 64800,00 64800,00

mean 2,00 60,0 25,38 1,99 146,13 3,00 7502,50

std 0,82 28,6 12,68 6,35 179,06 0,68 4372,22

min 1,00 20,0 6,67 0,00 0,00 2,00 5,00

max 3,00 120,0 60,00 83,66 1504,03 4,00 15000,00

Таблица 5

Статистические характеристики исходного набора данных (п2)

Параметр Деформация, % Напряжение в начале процесса, МПа Напряжение в конце процесса, МПа Время релаксации, ч Условное время окончания процесса, ч Модуль скорости, МПа Вязкость, 106 МПа-с

count 131220,00 131220,00 131220,00 131220,00 131220,00 131220,00 131220,00

mean 2,00 60,00 25,42 1,83 143,25 3,00 7502,50

std 0,82 28,19 12,46 5,72 172,07 0,65 4401,46

min 1,00 20,00 6,67 0,00 0,00 2,00 5,00

max 3,00 120,00 60,00 83,66 1504,03 4,00 15000,00

Таблица 6

Статистические характеристики исходного набора данных (n3)

Параметр Деформация, % Напряжение в начале процесса, МПа Напряжение в конце процесса, МПа Время релаксации, ч Условное время окончания процесса, ч Модуль скорости, МПа Вязкость, 106 МПа-с

count 150000,00 150000,00 150000,00 150000,00 150000,00 150000,00 150000,00

mean 2,00 60,00 25,42 1,80 139,77 3,00 7502,50

std 0,82 28,11 12,42 5,60 167,24 0,64 4416,16

min 1,00 20,00 6,67 0,00 0,00 2,00 5,00

max 3,00 120,00 60,00 83,66 1504,03 4,00 15000,00

Одним из способов борьбы с переобучением модели является регуляризация функции потерь. За счет коэффициентов регуляризации, задающих перераспределение весов в модели, функция потерь принимает минимальное значение. Данный метод обеспечивает повышенную точность модели и снижает ненужные отклонения.

Регуляризация через функцию потерь в глубоком обучении подразумевает применение метода распада весов (Weight Decay), при котором коэффициенты регуляризации X(t) позволяют избежать энтропии распределения предсказаний нейронной сети (2):

Lr(t + 1) = Lr(t) + A(t)W(t),

(2)

где t — порядковый номер текущей итерации; W(t) — норма вектора весов; Lr(t + 1) — функция регуляризации.

Каждый вес нейронной сети обновляется пропорционально согласно градиенту функции потерь. Данный метод был совмещен с методом градиентного спуска Adam, в результате комбинации метода оптимизации и техники регуляризации через функцию потерь появился метод AdamW [17].

Другой вариант борьбы с переобучением модели — кросс-валидация. В данном методе проводится k раз обучений модели вместо одного, как предусмотрено в методе регуляризации функции потерь. Идея в следующем: по схеме (рис. 1) на каждом эксперименте выбирается k-е - окно (блок, он же валидационный) из k - элементов; на остальных: k-1 - окнах происходит обучение и далее проверка качества модели. Таким образом, разрушаются закономерности, сформированные раннее, и формируются новые более качественные до того момента, пока ошибка модели не станет удобоваримой. Данный способ мы уже использовали в своей работе [18] и наблюдали в работах других ученых [19].

й о тр

ад

I

Рис. 1. Разбиение данных в ¿-блочную перекрестную проверку

Третий способ регуляризации нейронной сети связан с изменением данных. Аугментация данных подразумевает дополнение данных, например, дисперсионным шумом за счет увеличения объема обучающей выборки. Новые данные могут улучшить качество модели, повысить ее чувствительность и робастность. Получив дополнительные данные, нейронная сеть понимает какие преобразования над ними являются допустимыми. Чаще всего аугментация данных применяется в области компьютерного зрения.

В данной работе мы остановимся на втором способе регуляризации данных, а именно — связанном с изменением структуры сети.

При построении прогнозной модели важно определиться с функцией, оценивающей качество работы этой модели. Для оценки качества функционирования нейронной сети при решении задачи регрессии достаточно использовать две функции RMSE и MAPE, в отличие от задач на классификацию, где дополнительно используют такие функции, как MSE и MAE. В нашей работе мы будем оценивать возможности прогноза построенных моделей на различных выборках и сравнивать полученные результаты с моделями, построенными с разными параметрами. В таблице 7 представлены метрики, использованные в работе, приведены преимущества и недостатки. Коэффициент детерминации (R2) рассчитывается по формуле:

J, - J)(J, - J,)]

R -^-^ (3)

Eh (J,- J,) XL (J,- J,

Таблица 7

Метрики качества для анализа регрессионных моделей

Метрика качества Формула Преимущества Недостатки

Mean Absolute Error (MAE) 1 t MAE = - X T,t1 J t - J t Более устойчивая оценка моделей, чем КМБЕ. Не подвержена влиянию выбросов. Практически соответствует медиане Сложно интерпретируема. Сравнивать оценки возможно только на одинаковой выборке

Mean Squared Error (MSE) 1 n MSE = - X T ,= ( —^ J,- J, V J 2 Возможно сравнение моделей на различных выборках Подвержена влиянию выбросов

Root-Mean-Square Error (RMSE) RMSE = „ - x T ,=1 f — J,- J, V N2 J Используется как при прогнозировании положительных, так и отрицательных значений Неустойчивая оценка, использует усредненные значения

Mean Absolute Percentage Error (MAPE) 1 T MAPE = - X TS J,- J, J, 100 Является эффективным критерием оценки коэффициентов моделей Сравнивать оценки возможно только на одинаковой выборке

Результаты исследования. В данном разделе мы предоставим результаты прогнозирования на базе трех наборов данных. Обучение моделей CatBoost Regressor проводилось по следующей схеме. Глубина дерева настраивалась в соответствии со значениями: {4, 6, 8, 10}; скорость обучения: {0,01, 0,03, 0,05, 0,07, 0,08, 0,09}; количество итераций: {500, 800, 1000, 1500}; коэффициент Л(/)=3,0 (1) для достижения наименьшей ошибки прогнозирования. В таблице 8 представлены наборы наилучших значений параметров моделей CatBoost Regressor по выборкам щ; п2; п3 для параметров: «Вязкость» (у*: т^*0з); «Модуль

скорости» (т*: т*; т2; т3) соответственно.

Таблица 8

Наилучшие значения параметров для моделей CatBoost Regressor

Параметр Глубина дерева Скорость обучения Количество итераций

6 0,08 1000

т{ 6 0,08 1000

V*o2 6 0,08 1000

т2 6 0,08 1000

Чо3 6 0,08 1000

т$ 6 0,08 800

ак и н а

х е

е

ети

о

орт

О

По данным таблицы 8 можно наблюдать частые совпадения наилучших значений параметров на различных выборках, это обусловлено тем, что статистические характеристики исходных наборов данных пг; п2; п3, описанные ранее, в некоторых случаях совпадают либо разнятся в диапазоне от 10-1 до 10-3. В том числе, одинаковые значения параметров обучения моделей для трех наборов данных связаны с тем, что каждый из них описывает идентичные по своей природе процессы.

Функция потерь и точность прогноза модели стабилизируются в режиме 1000 итераций для всех моделей, исключение составляет модель, построенная по выборке п3 для параметра т*, для которой достаточно 800 итераций на этапе обучения.

Качественная оценка параметров моделей выглядит следующим образом. Для параметра : ^ — ЮМ8Б = 0,173, И2 = 0,995; ^ — ЮМ8Б = 0,090, И2 = 0,998; ^ — ЮМ8Б = 0,091, И2 = 0,989. Для параметра т*: т** — ЮМ8Б = 0,095, И2 = 0,998; т° — ЮМ8Б = 0,07, И2 = 0,997; т* — ЮМ8Б = 0,076, И2 = 0,996.

Недостатком данного метода является то, что он несет немалые затраты по времени, поскольку алгоритм поиска оптимальных параметров по сетке очень медленный из-за потенциально большого количества тестируемых комбинаций. Учитывая все комбинации значений параметров модели, каждая модель обучалась не менее 480 эпох. Для получения результирующей модели применен метод ранней остановки. Использован метод AdamW в качестве оптимизационного метода. Метрики качества работы алгоритма приведены в таблице 9.

Таблица 9

Метрики качества моделей

Параметр MAE MSE RMSE MAPE, % R2train R2test

Ч'ог 0,35 0,1552 0,44 1,27 0,88269 0,87976

т* 0,32 0,1285 0,41 0,58 0,84161 0,83612

Ло2 0,15 1,0877 0,19 0,46 0,96721 0,96420

т* 0,07 0,0094 0,1 2,56 0,97914 0,97768

Чо3 0,24 0,9893 0,3 0,83 0,91130 0,90678

т*3 0,08 0,0105 0,1 2,72 0,97569 0,97436

На рис. 2-4 показаны графики прогноза: на обучающихся выборках — пунктирная линия; на тестовых выборках — сплошная линия итоговых моделей с наилучшими параметрами (таблица 8).

а) б)

Рис. 4. Графики прогноза на выборке (пз) по параметрам: а — для г/**; б — для т*

Соотношение между реальными и прогнозируемыми значениями для параметров и т° показаны на рисунках 5-7 по выборкам пг; п2; п3 соответственно обозначениям.

Prediction error plot of the CatBoost algorithm

1.5

1.0

se 0.5

lu

>

d 0.0

et

tci id

er -0.5

rP

-1.0

-1.5

* Ш jS •ЯР1

R2=0.995

-1.5 -1.0 -0.5 0.0 0.5

Actual values

a)

>

1.0 1.5

2C

Prediction error plot of the CatBoost algorithm

1.5 1.0 0.5

de tci

id er rP

-1.0 -1.5

• •

* «*

-1.5 -1.0 -0.5 0.0

Actual values б)

0.5

R2=0.998 1.0 1.5

Рис. 5. Графики ошибок прогноза (щ): а — для г/**; б— для т*

Prediction error plot of the CatBoost algorithm

Prediction error plot of the CatBoost algorithm

-1.5 -1.0 -0.5 0.0 0.5

Actual values

-0.5 0.0 0.5

Actual values

а)

Рис. 6. Графики ошибок прогноза (п2): а — для г/**; б — для т*

б)

R2=0.997

1.0

1.5

3

S И

cd X <D

<D О

fr

о

Prediction error plot of the CatBoost algorithm

Prediction error plot of the CatBoost algorithm

Й О тр

sg

JP

1.5

1.0

0.5

se

lu

> 0.0

d

et

tci id -0.5

e

rP

-1.0

-1.5

R2=0.989

1.5 1.0 0.5 0.0 -0.5 -1.0 -1.5

-1.5

-1.0

-0.5 0.0 0.5

Actual values

1.0

1.5

20

a)

б)

Рис. 6. Графики ошибок прогноза (из): а — для г/**; б — для т*

Графики ошибок прогноза показывают фактические значения из набора данных в сравнении с прогнозируемыми значениями, сгенерированными нашей моделью. Данный способ визуализации позволяет увидеть, насколько велика дисперсия в модели.

Обсуждение и заключение. Оценивая значения метрик качества разработанных интеллектуальных моделей, можно сделать выводы, что они демонстрируют высокую точность и надежность в предсказании реологических параметров полимеров. Сравнивая значения метрики МАРЕ, полученные в данной работе, с аналогичными исследованиями, можно сделать вывод, что ошибка находится в пределах допустимых значений.

Рассматриваемый «умный» алгоритм полезен с практической точки зрения, так как он представляет собой быстрый и точный способ анализа реологических параметров полимеров без необходимости проведения дорогостоящих и затяжных экспериментов.

При этом данное исследовании расширяет представления о возможностях применения методов машинного обучения в области материаловедения.

Разработанные алгоритмы могут быть полезны при изучении свойств уникальных материалов для строителей, технологов, применимы в промышленности и для научных исследований в области материаловедения и химии при разработки новых типов полимеров с улучшенными свойствами.

Методы искусственного интеллекта успешно применяются в различных отраслях, например, в процессе строительства на всех этапах, включая контроль качества при производстве строительных материалов, в том числе полимерных материалов и композитов на их основе. Интеллектуальные модели, построенные на основе CatBoost, были реализованы в среде Jupyter Notebook на языке Python. При обучении были задействованы сгенерированные наборы данных, полученные путем построения теоретических кривых релаксации напряжений по методу Эйлера на примере эпоксидного связующего ЭДТ-10. Для разработанных интеллектуальных моделей реологических параметров полимеров (начальная релаксационная вязкость, модуль скорости) проведены оценки качества моделей, построены графики прогнозов на обучающихся и тестовых выборках, а также графики прогнозов ошибок итоговых моделей с наилучшими параметрами.

С учетом того, что разрабатываемые алгоритмы машинного обучения были применены на большом объеме данных, зависящих от большого количества параметров, всегда имеется погрешность данных, которая находится в пределах 10 %. В нашем случае значение метрики MAPE, полученное при тестировании разработанных моделей машинного обучения, является допустимым и представляет диапазон значений 0,46-2,72. Таким образом, модели могут быть верифицированы и приняты к использованию при определении реологических параметров полимеров.

В перспективе дальнейших исследований планируется расширить спектр инструментов и методов машинного обучения, таких как, например, ^-nearest neighbors, support vector regression (SVR).

Список литературы

1. Chepurnenko V., Yazyev B., Song X. Creep Calculation for a Three-Layer Beam with a Lightweight Filler. In:

Proceedings of the International Conference on Modern Trends in Manufacturing Technologies and Equipment (ICMTMTE 2017). MATEC Web Conf. Vol. 129. EDP Sciences; 2017. 05009 https://doi.org/10.1051/matecconf/201712905009

2. Litvinov S.V., Yazyev B.M., Turko M.S. Effecting of Modified HDPE Composition on the Stress-Strain State of Constructions. In: Proceedings of the International Multi-Conference on Industrial Engineering and Modern technologies. IOP Conference Series: Materials Science and Engineering. Vol. 463(4). IOP Publishing; 2018. 042063 https://doi.org/10.1088/1757-899X/463/4/042063

3. Amjadi M., Fatemi A. Creep and Fatigue Behaviors of High-Density Polyethylene (HDPE): Effects of Temperature, Mean Stress, Frequency, and Processing Technique. International Journal of Fatigue. 2020;141:105871. https://doi.org/10.1016/i.iifatigue.2020.105871

4. Xiang G., Yin D., Meng R., Lu S. Creep Model for Natural Fiber Polymer Composites (NFPCs) Based on Variable Order Fractional Derivatives: Simulation and Parameter Study. Journal of Applied Polymer Science. 2020;137(24):48796. https://doi.org/10.1002/app.48796

5. Tezel T., Kovan V., Topal E.S. Effects of the Printing Parameters on Short-Term Creep Behaviors of Three-Dimensional Printed Polymers. Journal of Applied Polymer Science. 2019;136(21):47564. https://doi.org/10.1002/app.47564

6. Trush L., Litvinov S., Zakieva N., Bayramukov S. Optimization of the Solution of a Plane Stress Problem of a Polymeric Cylindrical Object in Thermoviscoelastic Statement. In: International Scientific Conference Energy Management of Municipal Transportation Facilities and Transport EMMFT 2017. Advances in Intelligent Systems and Computing, Vol 692. Cham: Springer; 2017. P. 885-893. https://doi.org/10.1007/978-3-319-70987-1 95

7. Tsybin N.Y., Turusov R.A., Andreev V.I. Comparison of Creep in Free Polymer Rod and Creep in Polymer Layer of the Layered Composite. ProcediaEngineering. 2016;153:51-58. https://doi.org/10.1016/i.proeng.2016.08.079

8. Andreev VI, Sereda SA. Calculation of an Inhomogeneous Polymer Thick-Walled Cylindrical Shell Taking into Account Creep under the Action of Temperature Load. In: Proceedings of IOP Conference Series: Materials Science and Engineering. Vol. 1015(1). XXIX R-P-S Seminar 2020. Wroclaw, Poland: IOP Publishing; 2021. 012002. https://doi.org/10.1088/1757-899X/1015/1/012002

9. Litvinov S.V., Klimenko E.S., Kulinich I.I., Yazyeva S.B. Longitudinal Bending of Polymer Rods with Account Taken of Creep Strains and Initial Imperfections. International Polymer Science and Technology. 2015;42(2):23-26. https://doi.org/10.1177/0307174X1504200206

10. Litvinov S.V., Trush L.I., Yazyev S.B. Flat Axisymmetrical Problem of Thermal Creepage for Thick-Walled Cylinder Made of Recyclable PVC. Procedia Engineering. 2016;150:1686-1693. https://doi.org/10.1016/i.proeng.2016.07.156

11. Yazyev B.M., Chepurnenko A.S., Savchenko A.A. Calculation of Three-Layer Panels with Polyurethane Foam Filler Taking into Account the Rheological Properties of the Middle Layer. Materials Science Forum. 2018;935:144-149. https://doi.org/10.4028/www.scientific.net/MSF.935.144

12. Dudnik A.E., Chepurnenko A.S., Litvinov S.V. Determining the Rheological Parameters of Polyvinyl Chloride, with Change in Temperature Taken into Account. International Polymer Science and Technology. 2017;44(1):43-48. https://doi.org/10.1177/0307174X1704400109

13. Litvinov S, Yazyev S, Chepurnenko A, Yazyev B. Determination of Rheological Parameters of Polymer Materials Using Nonlinear Optimization Methods. In: Proceedings of the XIII International Scientific Conference on Architecture and Construction 2020. Singapore: Springer; 2021. P. 587-594. https://doi.org/10.1007/978-981-33-6208-6 58

14. Chepurnenko A. Determining the Rheological Parameters of Polymers Using Artificial Neural Networks. Polymers. 2022;14(19):3977. https://doi.org/10.3390/polym14193977

15. Muhammad W., Brahme A.P., Ibragimova O., Kang J., Inal K. A machine learning framework to predict local strain distribution and the evolution of plastic anisotropy & fracture in additively manufactured alloys. International Journal of Plasticity. 2021;136:102867. https://doi.org/10.1016/Uiplas.2020.102867

16. Oh W.B., Yun T.J., Lee B.R., Kim C.G., Liang Z.L. A Study on Intelligent Algorithm to Control Welding Parameters for Lap-joint. Procedia Manufacturing. 2019;30:48-55. https://doi.org/10.1016/i.promfg.2019.02.008 ^

17. Ramos-Figueroa O., Quiroz-Castellanos M., Mezura-Montes E., Schütze O. Metaheuristics to solve grouping s

K

problems: a review and a case study. Swarm and Evolutionary Computation. 2020;53:100643. $

https://doi.org/10.1016/jswevo.2019.100643 S

18. Kondratieva T, Prianishnikova L, Razveeva I. Machine Learning For Algorithmic Trading. In: Proceedings of E3S ^ Web Conf. Topical Problems of Agriculture, Civil and Environmental Engineering (TPACEE 2020). Vol. 224. E3S Ö Sciences; 2020. 01019. https://doi.org/10.1051/e3sconf/202022401019 g

19. Krause A, Fairbank M. Baseline Win Rates for Neural-Network Based Trading Algorithms. In: 2020 International ^ Joint Conference on Neural Networks (IJCNN). Glasgow, UK: IEEE; 2020. P. 1-6. U https://doi.org/10.1109/IJCNN48605.2020.9207649

References

1. Chepurnenko V, Yazyev B, Song X. Creep Calculation for a Three-Layer Beam with a Lightweight Filler. In: Proceedings of the International Conference on Modern Trends in Manufacturing Technologies and Equipment (ICMTMTE 2017). MATEC Web Conf. Vol. 129. EDP Sciences; 2017. 05009 https://doi.org/10.1051/matecconf/201712905009

2. Litvinov SV, Yazyev BM, Turko MS. Effecting of Modified HDPE Composition on the Stress-Strain State of Constructions. In: Proceedings of the International Multi-Conference on Industrial Engineering and Modern technologies. IOP Conference Series: Materials Science and Engineering. Vol. 463(4). IOP Publishing; 2018. 042063 https://doi.org/10.1088/1757-899X/463/4/042063

3. Amjadi M, Fatemi A. Creep and Fatigue Behaviors of High-Density Polyethylene (HDPE): Effects of Temperature, Mean Stress, Frequency, and Processing Technique. International Journal of Fatigue. 2020;141:105871. https://doi.org/10.1016/iiifatigue.2020.105871

4. Xiang G, Yin D, Meng R, Lu S. Creep Model for Natural Fiber Polymer Composites (NFPCs) Based on Variable Order Fractional Derivatives: Simulation and Parameter Study. Journal of Applied Polymer Science. 2020;137(24):48796. https://doi.org/10.1002/app.48796

5. Tezel T, Kovan V, Topal ES. Effects of the Printing Parameters on Short-Term Creep Behaviors of Three-Dimensional Printed Polymers. Journal of Applied Polymer Science. 2019;136(21):47564. https://doi.org/10.1002/app.47564

6. Trush L, Litvinov S, Zakieva N, Bayramukov S. Optimization of the Solution of a Plane Stress Problem of a Polymeric Cylindrical Object in Thermoviscoelastic Statement. In: International Scientific Conference Energy Management of Municipal Transportation Facilities and Transport EMMFT 2017. Advances in Intelligent Systems and Computing, Vol 692. Cham: Springer; 2017. P. 885-893. https://doi.org/10.1007/978-3-319-70987-1 95

7. Tsybin NY, Turusov RA, Andreev VI. Comparison of Creep in Free Polymer Rod and Creep in Polymer Layer of the Layered Composite. Procedia Engineering. 2016;153:51-58. https://doi.org/10.1016/i.proeng.2016.08.079

8. Andreev VI, Sereda SA. Calculation of an Inhomogeneous Polymer Thick-Walled Cylindrical Shell Taking into Account Creep under the Action of Temperature Load. In: Proceedings of IOP Conference Series: Materials Science and Engineering. Vol. 1015(1). XXIX R-P-S Seminar 2020. Wroclaw, Poland: IOP Publishing; 2021. 012002. https://doi.org/10.1088/1757-899X/1015/1/012002

9. Litvinov SV, Klimenko ES, Kulinich II, Yazyeva SB. Longitudinal Bending of Polymer Rods with Account Taken of Creep Strains and Initial Imperfections. International Polymer Science and Technology. 2015;42(2):23-26. https://doi.org/10.1177/0307174X1504200206

10. Litvinov SV, Trush LI, Yazyev SB. Flat Axisymmetrical Problem of Thermal Creepage for Thick-Walled Cylinder Made of Recyclable PVC. Procedia Engineering. 2016;150:1686-1693. https://doi.org/10.1016/i.proeng.2016.07.156

11. Yazyev BM, Chepurnenko AS, Savchenko AA. Calculation of Three-Layer Panels with Polyurethane Foam Filler Taking into Account the Rheological Properties of the Middle Layer. Materials Science Forum. 2018;935:144-149. https://doi.org/10.4028/www.scientific.net/MSF.935.144

12. Dudnik AE, Chepurnenko AS, Litvinov SV. Determining the Rheological Parameters of Polyvinyl Chloride, with Change in Temperature Taken into Account. International Polymer Science and Technology. 2017;44(1):43-48. https://doi.org/10.1177/0307174X1704400109

13. Litvinov S, Yazyev S, Chepurnenko A, Yazyev B. Determination of Rheological Parameters of Polymer Materials Using Nonlinear Optimization Methods. In: Proceedings of the XIII International Scientific Conference on Architecture and Construction 2020. Singapore: Springer; 2021. P. 587-594. https://doi.org/10.1007/978-981-33-6208-6 58

14. Chepurnenko A. Determining the Rheological Parameters of Polymers Using Artificial Neural Networks. g Polymers. 2022;14(19):3977. https://doi.org/10.3390/polym14193977

£ 15. Muhammad W, Brahme AP, Ibragimova O, Kang J, Inal K. A Machine Learning Framework to Predict Local

g Strain Distribution and the Evolution of Plastic Anisotropy & Fracture in Additively Manufactured Alloys. International 7 Journal of Plasticity. 2021;136:102867. https://doi.org/10.1016/Uiplas.2020.102867

¿2 16. Oh WB, Yun TJ, Lee BR, Kim CG, Liang ZL. A Study on Intelligent Algorithm to Control Welding Parameters

tj for Lap-ioint. Procedia Manufacturing. 2019;30:48-55. https://doi.org/10.1016/i.promfg.2019.02.008 | 17. Ramos-Figueroa O, Quiroz-Castellanos M, Mezura-Montes E, Schütze O. Metaheuristics to Solve Grouping

Problems: A Review and a Case Study. Swarm and Evolutionary Computation. 2020;53:100643. Ü https://doi.org/10.1016/jswevo.2019.100643

18. Kondratieva T, Prianishnikova L, Razveeva I. Machine Learning For Algorithmic Trading. In: Proceedings of E3S Web Conf. Topical Problems of Agriculture, Civil and Environmental Engineering (TPACEE 2020). Vol. 224. E3S Sciences; 2020. 01019. https://doi.org/10.1051/e3sconf/202022401019

19. Krause A, Fairbank M. Baseline Win Rates for Neural-Network Based Trading Algorithms. In: 2020 International Joint Conference on Neural Networks (IJCNN). Glasgow, UK: IEEE; 2020. P. 1-6. https://doi.org/10.1109/IJCNN48605.2020.9207649

Об авторах:

Чепурненко Антон Сергеевич, профессор кафедры сопротивления материалов Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), доктор технических наук, доцент, ORCID, ResearcherlD, ScopusID, anton chepurnenk@mail.ru

Кондратьева Татьяна Николаевна, доцент кафедры математики и информатики Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), кандидат технических наук, доцент, ORCID, ktn618@yndex.ru

Заявленный вклад авторов:

А.С. Чепурненко — научное руководство, анализ результатов исследований, доработка текста, корректировка выводов.

Т.Н. Кондратьева — формирование основной концепции, цели и задачи исследования, проведение расчетов, подготовка текста, формирование выводов.

Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.

Все авторы прочитали и одобрили окончательный вариант рукописи.

Поступила в редакцию 20.02.2024

Поступила после рецензирования 28.02.2024

Принята к публикации 10.03.2024

About the Authors:

Anton S. Chepurnenko, Dr.Sci. (Engineering), Associate Professor of the Strength of Materials Department, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF), ORCID, ResearcherID, ScopusID, anton chepurnenk@mail.ru

Tatiana N. Kondratieva, Cand.Sci. (Engineering), Associate Professor of Mathematics and Computer Science Department, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF), ORCID, ktn618@yndex.ru

Claimed contributorship:

Chepurnenko AS: scientific supervision, analysis of the research results, refining the text, correcting the conclusions.

Kondratieva TN: formulating the main concept, aim and objective of the research, carrying out the calculations, preparing the text, formulating the conclusions.

Conflict of interest statement: the authors do not have any conflict of interest.

All authors have read and approved the final manuscript.

Received 20.02.2024

Revised 28.02.2024

Accepted 10.03.2024

ак и н а

х е

е

ети

о

орт

С