CC BY
27
_ВЕСТНИК ПНИПУ_
2021 Химическая технология и биотехнология № 3
Б01: 10.15593/2224-9400/2021.3.07 УДК 65.011.56
Д.А. Юрков, П.Ю. Сокольчик, С.И. Сташков
Пермский национальный исследовательский политехнический университет, Пермь, Россия
ПОСТРОЕНИЕ ВИРТУАЛЬНЫХ АНАЛИЗАТОРОВ ПРОГНОЗА ПОКАЗАТЕЛЕЙ КАЧЕСТВА И ВОЗМОЖНОГО БРАКА В ПРОИЗВОДСТВЕ БИТУМОВ НА ОСНОВЕ ФОРМАЛЬНЫХ МОДЕЛЕЙ
В современных системах управления химико-технологическими процессами широкое распространение получило использование виртуальных анализаторов качества продукции. Такие анализаторы позволяют без установки дополнительных дорогостоящих технологических средств получать информацию о показателях качества продукции либо в режиме реального времени, либо до того как продукция будет произведена. При этом можно решать такие задачи, как прогноз вероятного брака, подбор технологических параметров для реализации требуемых показателей качества производимой продукции и т.п. Как правило, для таких анализаторов качества входной информацией являются данные о параметрах ведения технологических процессов и результаты лабораторных анализов входного и промежуточного контроля. Наиболее часто для виртуальных анализаторов зависимости, связывающие показатели качества продукции со значениями технологических параметров и результатами лабораторного контроля, представляют собой формальные регрессионные модели, которые имеют такие достоинства, как относительная простота построения, универсальность и простота применения в современных промышленных вычислительных системах.
В статье рассматриваются и сравниваются различные способы построения таких формальных зависимостей на примере классических регрессионных моделей, формальных моделей, построенных на основе математических нейронных сетей и моделей, полученных на основе методов градиентного бустинга. Производится сравнение адекватности этих моделей, времени их формирования. С использованием этих же зависимостей, используемых для задачи классификации, сформулирован алгоритм прогноза вероятного брака. Рассмотренные зависимости апробированы для задачи прогноза показателей качества производства строительных и дорожных битумов. Рассмотренные зависимости можно использовать для построения виртуальных анализаторов качества других производств.
Ключевые слова: прогноз качества, формальные модели, регрессия, нейронная сеть, градиентный бустинг.
D.A. Yurkov, P.Yu. Sokolchik, S.I. Stashkov
Perm National Research Polytechnic University, Perm, Russian Federation
CONSTRUCTION OF VIRTUAL ANALYZERS FOR PREDICTING QUALITY INDICATORS AND POSSIBLE DEFECTS IN BITUMEN PRODUCTION BASED ON FORMAL MODELS
In modern control systems for chemical technological processes, the use of virtual product quality analyzers has become widespread. Such analyzers allow, without installing additional expensive technological means, to receive information on product quality indicators either in real time or before the product is produced, while it is possible to solve problems such as forecasting a probable reject, selecting technological parameters to implement the required quality indicators for the manufactured product. products, etc. As a rule, for such quality analyzers, data on the parameters of technological processes and the results of laboratory analyzes of incoming and intermediate control are used as input information. Most often, for such virtual analyzers, dependences linking product quality indicators with the values of technological parameters and laboratory control results are formal regression dependences that have such advantages as relative simplicity of construction, versatility and ease of use in modern industrial computing systems.
The article discusses and compares various methods of constructing such formal dependencies using the example of classical regression models, formal models built on the basis of mathematical neural networks and models obtained on the basis of gradient boosting methods. A comparison is made of the adequacy of these models, the time of their formation. Using the same dependencies used for the classification problem, an algorithm for predicting a probable marriage was formulated. The considered dependences have been tested to predict the quality index of the production of construction and road bitumen. The considered dependencies can be used to build virtual analyzers of other industries.
Keywords: prediction quality, formal models, regression, neural network, gradient boosting.
В технологических производствах одной из задач управления технологическими процессами, которую можно успешно решать с помощью современных вычислительных систем, является задача прогноза качества выпускаемой продукции. В современных системах управления технологическими процессами широко используются системы виртуальных анализаторов. В основе таких анализаторов лежат математические модели, связывающие параметры технологических процессов и показатели качества готовой продукции [1]. Эти математические модели могут быть как содержательными (физико-химическими), основанными на описании взаимосвязи физических и химических про-
цессов, так и формальными, построенными на основе различных видов регрессии. Достоинством формальных моделей является их универсальность и сравнительная простота реализации в вычислительных системах.
При ведении технологического процесса задачи прогноза качества, осуществляемые при помощи виртуальных анализаторов, можно сформулировать, как непосредственно прогноз показателей качества продукции в виде числовых значений этих показателей и как определение принадлежности выпускаемой продукции к одному из двух классов - «качественная» и «брак».
Качество прогноза будет зависеть от адекватности математической модели, которая включает, в том числе, учет всех влияющих факторов, полноты выборки, на основании которой она строится, своевременности построения данной модели (например, если модель строится продолжительное время, то может оказаться, что технологический процесс окончен к моменту завершения обучения, т.е. теряется ее актуальность). Таким образом, требования к формальной математической модели для прогноза качества продукции должны быть следующими: во-первых, адекватность модели, во-вторых, модель должна формироваться своевременно, в-третьих, модель должна быть по возможности универсальна (должна быть применяема к другим аналогичным технологическим процессам или другим режимам этого процесса). Формирование такой модели должно быть сравнительно легко ал-горитмизуемо.
В статье проведено сравнение трех способов построения моделей, которые можно использовать для виртуальных анализаторов качества:
1) регрессионный;
2) нейросетевой;
3) градиентный бустинг.
В качестве исходных данных использованы данные производства битумов в окислительной колонне полного заполнения с выносным сепаратором. Рассмотрены 117 технологических ситуаций, которые разделены на обучающую (81 точка) и тестовую (36 точек) выборки. Данные по показателям качества битума рассмотрены в работе [2].
Независимо от метода обучения исходные данные должны пройти подготовку, позволяющую отсечь ошибочные данные (промахи) и повысить скорость построения регрессии [2].
Проведено нормирование данных статистическим способом согласно выражению
X = (х - т)/ О,/ = 1, п,
где X' - исходное (ненормированное) значение параметра; тх - оценка математического ожидания; а - оценка среднеквадратического отклонения; п - количество значений параметра.
Адекватность проверялась по критерию Фишера [1]. Время формирования модели зависит от вычислительных мощностей устройства, поэтому время выполнения дано оценочно - в соотношении друг с другом.
В качестве регрессионных моделей использовались модели с линейными и квадратичными зависимостями [1-3].
Для нейросетевой модели производился подбор парадигмы [4-7]. В результате выбрана нейронная сеть с парадигмой, представленной в табл. 1.
Таблица 1
Парадигма нейросетевой модели для прогноза качества
Функция активации нейронов Количество скрытых слоев Количество нейронов на скрытом слое Метод обучения Количество итераций
swish 3 3 RMSProp 1500
Функция активации нейросетевой модели имеет вид swish (х ) = х / (l + e-х).
Параметры модели, полученной на основе градиентного бустинга [8-13], следующие: глубина дерева - 5; количество итераций - 2000; вид дерева - симметричный.
Сравнительный анализ построенных моделей проводился по оценкам, представленным в табл. 2.
Прогноз вероятного брака основан на классификации технологических ситуаций [14]. Технологические ситуации, при которых отсутствует брак, относятся к классу 0, с браком - к классу 1. Классификация технологических ситуаций произведена с помощью следующих методов: логистическая регрессионная модель, нейросетевая модель, модель на основе градиентного бустинга.
Таблица 2
Оценка качества построения формальных моделей
Показатель Линейная регрессия Квадратичная регрессия Искусственная нейросеть Градиентный бустинг
Средняя абсолютная ошибка 8,443 9,652 8,616 7,860
Среднеквадратичная ошибка 180,395 150,652 143,568 127,212
Критерий Фишера 8,821 10,563 11,083 12,509
Время обучения, мс 20 22 5910* 1080
*Без учета времени на подбор парадигмы нейросетевой модели.
Логистическая регрессия - это статистическая модель, используемая для прогнозирования вероятности возникновения некоторого события, в виде вероятности бинарного события (1 или 0) и являющаяся разновидностью классической регрессии, представленная в виде функции-сигмоида:
sigmoid (x) = 1/ (l + e-x).
Для построения нейросетевой модели, выполняющей классификацию технологической ситуации, также произведен подбор парадигмы нейросетевой модели [4-7]. Выбранная парадигма представлена в табл.3.
Таблица 3
Парадигма нейросетевой модели для прогноза вероятности брака
Функция активации входного и скрытых слоев Функция активации выходного слоя Количество скрытых слоев Количество нейронов на скрытом слое Метод обучения Количество итераций
relu sigmoid 2 3 RMSProp 1500
Функция активации входного и скрытых слоев имеет вид relu (.x) = max (0, x).
Для оценки того, правильно ли осуществлена классификация технологической ситуации, используется таблица истинности (табл. 4).
Таблица 4
Таблица истинности
Параметр Y = 1 Y = 0
F(x) = 1 True Positive (TP) False Positive (FP)
F(x) = 0 False Negative (FN) True Negative (TN)
Если алгоритм относит объект к классу 1 (алгоритм «срабатывает»), могут возникнуть две ситуации: объект действительно относится к классу 1 - имеет место верное срабатывание (true positive), или объект на самом деле относится к классу 0, имеет место ложное срабатывание (false positive). Если алгоритм выдает в результате класс 0 (пропускает объект), также возникает две ситуации: имеет место пропуск объекта класса 1 - ложный пропуск (false negative), или алгоритм пропускает объект класса 0 - имеет место истинный пропуск (true negative). Таким образом, могут возникнуть два вида ошибок: ложные срабатывания и ложные пропуски, для каждой из которых вычисляется своя метрика качества, показывающая, какое количество ошибок какого типа совершается.
Доля правильных ответов (accuracy) показывает, сколько технологических ситуаций были правильно классифицированы:
accuracy = -[F (xi ) = y ] = TP + TN / TP + TN + FP + FN.
n i=1
Точность (precision) показывает, насколько можно доверять классификатору в случае срабатывания:
precision = TP / TP + FP.
Полнота (recall) показывает, на какой доле истинных объектов первого класса алгоритм:
recall = TP / TP + FN.
В качестве оценки качества классификации выбрана ROC-кривая, и ее оценочная характеристика AUC-ROC [15]. ROC-кривая показывает зависимость TPR от FPR при варьировании порога разделения данных на классы. Она строится из точки (0;0), которая соответствует максимальной величине порога разделения, и приходит в точку (1;1) соответствующую минимальному значению порога. При этом идеальный классификатор должен пройти через точку (0;1). Площадь под
кривой будет характеризовать качество оценок принадлежности к первому классу и называется ЛИС-ЯОС или площадь под ЯОС-кривой:
РРЯ = РР / (РР + ТЫ )ТРЯ = ТР / (ТР + РЫ).
ЯОС-кривая строится в осях БРЯ (ось абцисс) и ТРЯ (ось ординат), которые нормируются на размеры классов. Таким образом, при изменении баланса классов величина ЛиС-ЯОС не изменяется (в случае идеального алгоритма ЛиЯ-ЯОС = 1). Оценки качества прогноза брака для рассмотренных формальных моделей представлены в табл. 5, полученные диаграммы качества классификации представлены на рисунке.
Таблица 5
Оценки качества прогноза брака
Характеристика Логистическая регрессия Нейросеть Градиентный бустинг
Доля правильных ответов (accuracy) 0,778 0,889 0,917
Точность (precision) 0,794 0,961 0,963
Полнота (recall) 0,964 0,893 0,929
AUC-ROC 0,911 0,951 0,973
а б в
Рис. Графическая оценка качества классификации (ЯОС-кривая): а - логистическая регрессия; б - нейросетевая модель; в - градиентный бустинг
На основе полученных результатов можно сделать вывод о возможности построения виртуального анализатора качества битумов на основе любой из рассмотренных формальных моделей.
Список литературы
1. Ахназарова С. Л., Кафаров В.В. Методы оптимизации эксперимента в химической технологии: учеб. пособие. - 2-е изд., перераб. и доп. - М.: Высш. шк., 1985. - 327 с.
2. Прогнозирование и управление качеством битумов на основе формальных моделей / С.И. Сташков, А.Г. Шумихин, П.Ю. Сокольчик, А.С. Шир-кунов, Д.А. Юрков // Инженерный вестник Дона. - 2019. - № 1. - URL: ivdon.ru/ru/magazine/archive/n1y2019/5508
3. Юрков Д. А., Сокольчик П.Ю. Построение регрессионных моделей связи параметров технологического процесса // Инновационные технологии: теория, инструменты, практика: материалы XI Междунар. интернет-конф. молодых ученых, асп., студ. - Пермь: Изд-во Перм. нац. исслед. политехн. ун-та, 2019. - С. 219-222.
4. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. - М.: Физматлит, 2001. - 221с.
5. Хайкин С. Нейронные сети: полный курс: пер. с англ. - 2-е изд. - М.: Вильямс, 2006. - 1104 с.
6. Юрков Д.А., Сокольчик П.Ю. Автоматизация подбора парадигмы нейросетевых моделей связи выходных показателей качества с входными показателями и технологическими параметрами // Инновационные технологии: теория, инструменты, практика: материалы XI Междунар. интернет-конф. молодых ученых, асп., студ. - Пермь: Изд-во Перм. нац. исслед. политехн. ун-та, 2020. - С. 91-94.
7. Юрков Д.А., Сокольчик П.Ю. Выбор парадигмы формальной нейронной сети с целью применения в системах классификации продукции на основе гетерогенных смесевых композиций // Химия. Экология. Урбанистика: материалы Всерос. науч.-практ. конф. (с междунар. участием). - Пермь: Изд-во Перм. нац. исслед. политехн. ун-та, 2020. - Т. 4. - С. 371-374.
8. Boosting algorithms as gradient descent / L. Mason, J. Baxter, P. Bartlett, M. Frean // Advances in Neural Information Processing Systems. - MIT Press, 2000. - Vol. 12. - P. 512-518.
9. Friedman J.H. Greedy function approximation: a gradient boosting machine // The Annals of Statistics. - 2001. - Vol. 29, no. 5. - P. 1189-1232.
10. Friedman J.H. Stochastic gradient boosting // Computational Statistics & Data Analysis. - 2002. - Vol. 38, no. 4. - P. 367-378.
11. Применение метода градиентного бустинга для поддержки принятия технологических решений в процессе электронно-лучевой сварки / В.С. Тынченко, И.А. Головенок,В.Е. Петренко [и др.] // Сибирский журнал науки и технологий. - 2020. - Т. 21, № 2. - С. 206-214. DOI: 10.31772/25876066-2020-21-2-206-214
12. Schapire R.E., Freund Y. Boosting: Foundations and algorithms // Kybernetes. - 2013. - Vol. 42, no. 1. - P. 164-166.
13. Салахутдинова К.И., Лебедев И.С., Кривцова И.Е. Алгоритм градиентного бустинга деревьев решений в задаче идентификации программного обеспечения // Научно-технический вестник информационных технологий, механики и оптики. - 2018. - Т. 18, № 6. - С. 1016-1022.
14. Classification and Regression Trees / L. Breiman, J. Friedman, R. Olshen, C. Stone. - Wadsworth, 1983.
15. Fawcett T. An Introduction to ROC Analysis // Pattern Recognition Letters. - 2006. - No. 27. - P. 861-874.
References
1. Akhnazarova S.L., Kafarov V.V. Metody optimizatsii eksperimenta v khimicheskoy tekhnologii [Methods of experiment optimization in chemical technology]. 2nd ed. Moscow, Vysshaya shkola, 1985, 327 p.
2. Stashkov S.I., Shumikhin A.G., Sokol'chik P.Yu., Shirkunov A.S., Yurkov D.A. Prognozirovanie i upravlenie kachestvom bitumov na osnove formal'nykh modelei [The Prediction and the management of the quality of bitumen according to the formal model]. Engineering journal of Don, 2019, no. 1, available at ivdon.ru/ru/magazine/archive/n1y2019/5508
3. Yurkov D.A., Sokolchik P.Yu., Stashkov S.I. Postroenie regressionnykh modelei sviazi parametrov tekhnologicheskogo protsessa [Plotting of regression models of parameters connection in technological process]. Materialy X Mezhdunarodnoi internet - konferentsii molodykh uchenykh, aspirantov, studentov «Innovatsionnye tekhnologii: teoriia, instrumenty, praktika», Perm', 20 - noiabria -31 dekabria 2018, PNIPU, 2019, pp. 219-222.
4. Kruglov V.V., Dli M.I., Golunov R.Y. Nechetkaya logika i iskusstvennye nejronnye seti [Fuzzy logic and artificial neural networks]. Moscow, Fizmatlit, 2001, 224 p.
5. Khaykin S. Neyronnye seti: polnyy kurs [Neural networks: a full course]. 2nd ed. Moscow, Izdatel'skiy dom «Vil'yams», 2006, 1104 p.
6. Yurkov D.A., Sokol'chik P.Yu. Automation of paradigm selection of neural network models for communication of output quality indicators with input indicators and technological parameters. Materialy XI Mezhdunarodnoi internet -konferentsii molodykh uchenykh, aspirantov, studentov «Innovatsionnye tekhnologii: teoriia, instrumenty, praktika», Perm', 15- noiabria - 31 dekabria 2019, PNIPU, 2020, pp. 91-94.
7. Yurkov D.A., Sokol'chik P.Yu. Vybor paradigmy formal'noi neironnoi seti s tsel'iu primeneniia v sistemakh klassifikatsii produktsii na osnove geterogennykh smesevykh kompozitsii [Selection of the formal neural network paradigm for the application in product classification systems based on heterogeneous mixture compositions]. Materialy Vserossiiskoi nauchno-prakticheskoi
konferentsii molodykh uchenykh, aspirantov, studentov i shkol'nikov (s mezhdu-narodnym uchastiem) «Khimiia. Ekologiia. Urbanistika», Perm', 23-24 aprelia 2020, PNIPU, 2020, vol.4, pp. 371-374.
8. Mason L., Baxter J., Bartlett P., Frean M. Boosting algorithms as gradient descent. Advances in Neural Information Processing Systems. MIT Press, 2000, Vol. 12, 512-518 p.
9. Friedman J. Greedy Function Approximation: A Gradient Boosting Machine. The Annals of Statistics, 2001, vol. 29, no. 5, pp. 1189-1232.
10. Friedman J. Stochastic Gradient Boosting. Computational Statistics & Data Analysis, 2002, vol. 38, no. 4, pp. 367-378.
11. Tynchenko V.S., Golovenok I.A., Petrenko V.E., Milov A.V., Murygin A.V. Gradient boosting method application to support process decisions in the electron-beam welding proces. Siberian Journal of Science and Technology, 2020, vol. 21, no. 2, pp. 206-214. Doi: 10.31772/2587-6066-2020-21-2-206-214.
12. Schapire R.E., Freund Y. Boosting: Foundations and algorithms. Kybernetes, 2013, vol. 42, no. 1, pp. 164-166.
13. Salakhutdinova K.I., Lebedev I.S., Krivtsova I.Ye. [Gradient boosting algorithm for decision trees in the software identification problem]. Nauchno-tekhnicheskiy vestnik informatsionnykh tekhnologiy, mekhaniki i optiki, 2018, vol. 18, no. 6, pp. 1016-1022
14. Breiman L., Friedman J., Olshen R., Stone C. Classification and Regression Trees. Wadsworth, 1983.
15. Fawcett Tom. An Introduction to ROC Analysis. Pattern Recognition Letters, 2006, vol. 27 (8), pp. 861-874.
Получено 07.06.2021
Об авторах
Юрков Дмитрий Андреевич (Пермь, Россия) - магистрант кафедры «Оборудование и автоматизация химических производств» Пермского национального исследовательского политехнического университета (614990, г. Пермь, Комсомольский пр., 29, e-mail: mactepbeka@gmail.com).
Сокольчик Павел Юрьевич (Пермь, Россия) - кандидат технических наук, доцент кафедры «Автоматизация технологических процессов» Пермского национального исследовательского политехнического университета (614990, г. Пермь, Комсомольский пр., 29, e-mail: psokol@pstu.ru).
Сташков Сергей Игоревич (Пермь, Россия) - кандидат технических наук, доцент кафедры «Оборудование и автоматизация химических производств» Пермского национального исследовательского политехнического университета (614990, г. Пермь, Комсомольский пр., 29; e-mail: atp@pstu.ru).
About the authors
Dmitry A. Yurkov (Perm, Russian Federation) - Undergraduate Student of the Equipment and automation of chemical production, Perm National Research Polytechnic University (29, Komsomolsky av., Perm, 614990, e-mail: mactepbeka@gmail.com).
Pavel Yu. Sokol'chik (Perm, Russian Federation) - Ph.D. in Technical Sciences, Associate Professor, Department of Automation of Technological Processes, Perm National Research Polytechnic University (29, Komsomolsky av., Perm, 614990, e-mail: psokol@pstu.ru).
Sergey I. Stashkov (Perm, Russian Federation) - Ph.D. in Technical Sciences, Associate Professor, Department of equipment and automation of the chemical plant, Perm National Research Polytechnic University (29, Komsomolsky av., Perm, 614990, e-mail: atp@pstu.ru).
