CC BY
24УДК 004.421 Tamara B. Chistyakova1, Mikhail A. Teterin2
Т.Б. Чистякова1, М.А. Тетерин2
INTELLECTUAL ANALYSIS ALGORITHM OF LARGE DATA AND QUALITY CONTROL OF POLYMERIC MATERIALS
St Petersburg State Institute of Technology (Technical University), Moskovsky Pr., 26, St Petersburg, 190013, Russia e-mail: michail.teterin92@gmail.com
Algorithm for the intellectual analysis of large data for quality control of polymeric materials, including a library of methods for data mining, industrial data base, database of technological regulations, production tasks databases, allows one to control the quality of polymer materials for various assortments and production line configurations. The algorithm includes visualization systems to support the decision-making by various categories for managerial production personnel: operators, quality engineers, knowledge engineers. To perform quality analysis and control, an order quality map is displayed, and monitoring of the trends for the main quality parameters and control actions and recommendations for control in the case of violation of quality indicators and the reasons for their occurrence based on the analysis of situations in the knowledge base of contingencies are carried out. The integrated approach to the decision support system allows implementation of resource-energy-efficient production management. The system was tested by using the experimental data of Russian and German plants.
Keywords: Intellectual analysis, decision support system, decision trees, neural network, classification, forecasting, polymeric materials, resource-energy-saving management.
DOI 10.15217Zissn1998984-9.2017.40.94
Автоматизированная система разработана для управления качеством высокотехнологичных, многоассортиментных полимерных пленок. Полимерные пленки нашли широкое применение в различных областях: в пищевой промышленности, в медицине и в электронике. В зависимости от области применения, к полимерным пленочным материалам предъявляются высокие требования к качеству продукции, что является причиной значительных материальных потерь в размере нескольких миллиардов евро в год. Управлять качеством трудно из-за того что причины отклонения качества продукции не всегда известны, за счет сложности технологического процесса, использования дополнительных аппаратов, ежемесячного изменения ассортимента продукции, разнообразия видов используемого оборудования, недостатка времени для анализа производственных данных и знаний о нештатных ситуациях,
АЛГОРИТМ
ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА БОЛЬШИХ ДАННЫХ И УПРАВЛЕНИЯ КАЧЕСТВОМ ПОЛИМЕРНЫХ МАТЕРИАЛОВ
Санкт-Петербургский государственный технологический институт (технический университет), Московский пр. 26, Санкт-Петербург, 190013, Россия e-mail: michail.teterin92@gmail.com
Алгоритм интеллектуального анализа больших данных для управления качеством полимерных материалов, включающий библиотеку методов интеллектуального анализа данных, базы промышленных данных, базы данных технологических регламентов, базы данных производственных заданий, позволяет обеспечивать управление качеством полимерных материалов различного ассортимента и конфигураций производственных линий. Алгоритм включает системы визуализации для поддержки принятия решений различным категориям управленческого производственного персонала: операторам, инженерам по качеству, инженерам по знаниям. Для анализа и управления качеством выводится карта качества заказа, осуществляется мониторинг трендов основных параметров качества и управляющих воздействий, а также рекомендации по управлению при нарушении показателей качества и причины их возникновения на основе анализа ситуаций в базе знаний нештатных ситуаций. Такой комплексный подход к системе поддержки принятия решений позволяет осуществлять ре-сурсо-энергосберегающее управление производством. Система протестирована на примере экспериментальных данных заводов России и Германии.
Ключевые слова: интеллектуальный анализ, система поддержки принятия решений, деревья принятия решений, нейронная сеть, классификация, прогнозирование, полимерные материалы, ресурсо-энергосберегающее управление
полученных в режиме реального времени, отсутствия системы мониторинга всех показателей качества. Для управления производством требуются опытные специалисты, быстрое обучение которых невозможно [1-2].
Важнейшими показателями качества полимерной пленки являются: отсутствие дефектов на ее поверхности - черных точек, деструкционных (коричневых) полос, включений нерасплавленного полимера и модификатора, трещин (лопнувших воздушных пузырей) - и значения цвета, ширины, толщины пленки и значение усадки. Качество полимерной пленки определяется сырьем и технологическими параметрами производства [3].
Исходной информацией являются данные экстру-зионно-каландровых линий (рисунок 1) по производству полимерных пленок, которые характеризуются: много-стадийностью (производственная линия включает в себя следующие стадии производства: смешение; пластификация (экструдер); формование (каландр); охлаждение;
1 Чистякова Тамара Балабековна, д-р техн. наук, зав. кафедрой систем автоматизированного проектирования и управления, e-mail: nov@technolog. edu.ru
Tamara B. Chistyakova, Dr. Sci. (Eng.), Professor, Chairwoman of Computer design and control Department
2 Тетерин Михаил Александрович, аспирант каф. систем автоматизированного проектирования и управления, e-mail: michail.teterin92@gmail.com Mikhail A. Teterin, post-graduate student, Computer design and control Department
Дата поступления - 15 июня 2017 года
намотка); многоассортиментностью; многотоннажностью (за 1 ч оборудование перерабатывает 1000 кг); непрерывностью; большим объемом накопленной экспертной информации в условиях их изготовления (млрд. записей); большим количеством контролируемой информации (250 датчиков) [4]; энергоемкостью; толщиной пленки в диапазоне от 25 до 1200 мкм; шириной пленки в диапазоне от 100 до 2500 мм; несбалансированностью классов, по при-
чине того, что дефекты на производстве возникают редко [5-6]; сложноструктурированностью и наличием системных связей, которые описывают слабо формализованные информационные системы и сложные прикладные объекты исследования, что приводит к значительному усложнению правил построения формализованных информационно-аналитических моделей, описывающих закономерности в данных.
Рисунок 1. Описание процесса производства полимерных пленок
В таких условиях традиционные подходы к обработке информации становятся малоэффективными. В результате возникает актуальная проблема разработки и применения новых многометодных подходов к анализу данных. Направлением повышения эффективности анализа больших объемов слабоструктурированной информации и построения аналитических и информационных моделей, описывающих поведение сложных систем, является использование технологий системного многометодного интеллектуального анализа данных, который получил название «Data Mining» или использование детерминированных математических моделей, которые позволят вычислить точные значения величины усадки, толщины, цвета. С использованием предложенного подхода можно провести комплексную оценку качества пленки.
Целью разработки является создание автоматизированной системы, которая включает две подсистемы: подсистему интеллектуального анализа данных контролируемых переменных и подсистему оценки показателей качества с использованием детерминированных математических моделей. Автоматизированная система позволит определить расчетные значения показателей качества (толщина, цвет, величина усадки), провести анализ производственных данных, получаемых с систем мониторинга, и определить управляющие воздействия, которые привели к отклонению фактических значений качества, что позволит повысить эффективность производства.
С использованием автоматизированной системы имеется возможность выявить сложные структурные связи между технологическими параметрами, а также упростит управление качеством.
Описание объекта управления
Формализованное описание процесса производства полимерных пленочных материалов может быть представлено в виде векторов: Y(t) - вектор выходных переменных, представляющий показатели качества
процесса производства полимерных пленок; Х(0 - вектор входных переменных; Y(t) = {У^) - показатели качества, измеряемые на стадии экструзии, Y2(t) - показатели качества, измеряемые на стадии охлаждения, Y2(tk)
- показатели качества, которые рассчитываются в конце производства}, Х(0 = {Р(0 - тип полимерной пленки, С(0
- компонентный состав сырья, С$)- конфигурация оборудования}; и(Ц - вектор управляющих воздействий, где ирЕ(0 - вектор управляющих воздействий работы экстру-дера; ирС(0 - вектор управляющих воздействий работы каландра; и^О) - вектор управляющих воздействий тянущего устройства, где t = ^ ^ tзaд.
Тип полимерной пленки включает в себя: Р(0 {п - индекс течения полимера; у - вязкость полимера, Па-с; а - относительное изменение размера пленки, рассчитываемое как корень уравнения; во - модуль упругости материала}.
К показателям качества, измеряемым на стадии экструзии, относится Сех(0 - цвет экструдата. К показателям качества, измеряемым на стадии охлаждения относятся В1р0:) - количество черных точек на 10м2; Не1(0 - ге-лики на 10м2; АВД - лопнувшие воздушных пузыри на 10м2; Dest(t) - деструкционные, коричневые полосы, на 10м2; 1пс(0 - включений нерасплавленного полимера, на 10м2 Fib(t) - волокна, на 10м2; ТЬ|(0 - толщина пленки, мкм. К показателям качества, рассчитываемым после выпуска готовой продукции относятся Shr(t) - величина усадки; 1с, ас, Ьс - расчетные цветовые координаты готового изделия; т1(0 - толщина пленки, мкм.
К вектору управляющих воздействий работы экс-трудера относятся S(t) - скорость вращения шнека, оборот/мин; V(t) - Частота вращения спирали в загрузочной воронке, оборот/мин; Т(0 - температура шнека, °С; Ти(0 -температура нагревателей, °С.
Вектор управляющих воздействий работы четы-рехвалкового каландра включает в себя: ТиО)-темпера-тура валков, °С; То№0:) - крутящий момент валков, Н-м; рс°псауе(:) - давление вогнутого изгиба, Па; р™1™^) - давление выпуклого изгиба, Па; р1*1111^) - давление изгиба, Па;
роА-^ф - давление смещения, Па; FL(t) - уровень заполнения зазоров, мм;
Вектор управляющих воздействий тянущего устройства: Тог - температура тянущих устройств, °С; То 1ога) - крутящих момент тянущих устройств, Н ■ м; Трг^) -температура прижимных роликов, °С; Topr(t) - крутящий момент прижимных роликов, Н-м; Tcr(t) - температура охлаждающих роликов, °С; Тосгф - крутящий момент охлаждающих роликов, Н-м; Tsr(t) - температура закаляющих валков, °С; Tosr(t) - крутящий моментов закаляющих валков, Н-м; - температура натяжных роликов, °С.
Вектор управляющих воздействий контроля качества готовых продукций: ТЫф - рассчитываемое значение толщины пленки, мкм.
Структура системы поддержки принятия решении автоматизированной системы
Автоматизированная система [7] (рисунок 2) включает в себя следующие компоненты: информационное обеспечение (база данных производственных рас-
четных характеристик процесса, база данных параметров оборудования, база данных параметров материала, база производственных данных, и база знаний нештатных ситуаций); подсистему визуализации данных [8]; модуль редактирования баз данных и знаний; подсистему интеллектуального анализа данных; подсистему оценки показателей качества по математическим моделям.
Подсистема интеллектуального анализа данных содержит библиотеку методов интеллектуального анализа данных, модуль определения причины возникновения дефекта, модуль прогнозирования качества пленки, модуль выдачи рекомендаций и модуль обработки данных и знаний. Библиотека методов интеллектуального анализа данных включает в себя следующие математические модели и методы: метод к-ближайших соседей, математическую модель на базе нейронной сети, наивный байесовский классификатор, случайный лес, самоорганизующиеся карты Кохонена, деревья принятия решений, метод опорных векторов [6, 9]. Модуль обработки данных и знаний содержит алгоритмы сжатия данных, обработки данных и оптимизации.
Рисунок 2. Функциональная структура системы поддержки принятия решений для управления качеством полимерных материалов
Подсистема интеллектуального анализа данных
Подсистема интеллектуального анализа данных позволяет решать следующие задачи:
1) определение входных параметров Хф и управляющих воздействия иф, которые привели к нештатной ситуации Yзадl < Yзад2, произошедшей в
период времени от ^ до Х2 [5].
2) прогнозирование выходных параметров Y(t) при заданных входных параметрах Хф и управляющих воздействиях и(:) в период времени от :2 до :з.
3) Определение управляющих воздействий и(:) и входных параметров Хф, которые позволяют получить пленку наилучшего качества Yоптим [5].
Управляющий персонал
Рисунок 3. Алгоритм интеллектуального анализа больших данных и управления качеством полимерных материалов
Для решения поставленных задач был разработан алгоритм для интеллектуального анализа больших данных и управления качеством полимерных материалов (рисунок 3), позволяющий выдавать рекомендации производственному персоналу: инженеру по знаниям, инженеру по качеству и оператору по прогнозированию поведения объекта, по выяснению истинных причин возникновения брака, по определению наилучших значений управляющих воздействий, обеспечивающих заданное качество продукции. На первом этапе пользователь отбирает наиболее значимые параметры из базы данных системы интеллектуального анализа данных и характеристик, вносит пороговые ограничения на показатели качества в заказе и формирует массив данных [10]. Далее, массив накопленной экспертной информации разбивается на 3 подвыборки: обучаемая подвыборка (65 %), оценочная подвыборка (20 %) и тестовая подвыборка (15 %) [10-12] . Обучаемый набор данных, в свою очередь анализируются одним из предложенных методов интеллектуального анализа данных, и оценивает адекватность полученной модели при помощи оценочного и тестового набора данных. У пользователя имеется возможность выбрать метод интеллектуального анализа. Если нужно узнать точное значение показателя качества на выходе продукции, то тогда данные анализируется математическими моделями на основе нейронных сетей. Учитывая, что продолжительные временные затраты на обучение модели не позволяют применять искусственные нейронные сети в системах реального времени и не всегда можно определить причины возникновения дефекта, то модели искусственных нейронных сетей обычно анализируется инженером по качеству и управляющим персоналом для анализа причин возникновения брака на производстве. Нейронные сети можно применять в системах реального времени оператором, когда модель обучается на компьютере, имеющим возможность распараллеливать потоки обработки информации искусственных нейронных сетей [10, 12]. Для классификации используются случайный лес и метод опорных векторов. Алгоритм случайного леса используется при высоких требованиях к точности модели классификации [9]. В свою очередь, метод опорных векторов позволяет быстро найти единственное решение поставленной задачи. Самоорганизующиеся карты Кохоне-на используются в тех случаях, когда нужно определить насколько сильно коррелируют между собой управляющие воздействия с показателями качества [13]. Затем, выбранный метод интеллектуального анализа обучается и осуществляется проверка его адекватности. После этого, формируется модель прогноза и классификации, тренды, карта заказа и советы по управлению производством [14].
Тестирование
Тестирование работоспособности автоматизированной системы проводилось по промышленным данным заводов России и Германии корпорации «Klockner Pentaplast»: по данным за месяц производства, которые содержали 200 млн. различных данных по 250 технологическим параметрам на примере одного из основных дефектов (черных точек). Использовались такие математические модели как: регрессионная модель, алгоритм Random Forests (случайный лес), самоорганизующиеся карты Кохонена, дерево принятия решений и базы знаний о нештатных ситуациях.
Первое тестирование подсистемы интеллектуального анализа данных, используя регрессионную модель, алгоритм Random Forests и самоорганизующиеся карты Кохонена позволило определить основные причины возникновения черных точек. Компьютерная система анализа больших данных, при помощи модуля поиска нештатных ситуаций обнаружила временной промежуток, в котором количество черных точек превышало допустимое значение, предъявляемое заказчиком к качеству выпускаемой продукции (рисунок 5А).
На основании экспертной оценки были выяснены основные причины возникновения черных точек на поверхности пленки: частота вращения шнека и скорость подачи материала в воронку, недостаточное количество стабилизатора, высокая температура смеси, слишком низкое значения контризгиба, уровень загрязнения в осциллирующем устройстве. Далее был сформирован массив информации, который включал себя 1000 измерений (2 ч производства) по наиболее значимым технологическим параметрам, таким как: скорости каландровых валов, скорости темперирующих валов, скорости съемных валов, частота вращения шнека в экструдере, температура шнека в экструдере, температура смеси в горячем смесителе. Тестирование происходило на пленке марки «AC Clear 2Nutzen» с толщиной 125 мкм и шириной 550 мм.
На основании полученных статистических данных по показателям качества и технологическим параметрам были построены простые регрессионные модели. Расчёты для оценки значимости моделей приводились с помощью метода дисперсионного анализа по критерию Фишера (рисунок 4A), которая показала нам, что наиболее высокая корреляция наблюдается между чёрными точками и такими технологическими параметрами как: частота вращения шнека, скорость съемных валов, температура каландровых валов, скорость темперирующих валов.
Затем, полученный экспертами массив информации был разбит на 3 части. Обучение, оценка и тестирование происходило при помощи метода интеллектуального анализа Random Forest (рисунок 4Б). Random Forest показал, что наиболее значимыми параметрами являются почти все скорости производственного процесса, скорость вращения шнека в экструдере и скорость вращения в воронке экструдера. Таким образом, результаты анализа Random Forests и критерия Фишера полностью совпали.
На рисунке 4В представлены результаты анализа самоорганизующихся карт Кохонена, которые показывают устойчивую корреляцию между черными точками, скоростями валов, скорости воронки и шнека. Величина ошибки карт Кохонена составляет 0,29.
На рисунке 5А представлены тренды по параметрам, которые могли привести к возникновению черных точек. Эти тренды показали, что за несколько секунд до отклонения показателя качества (черные точки) от нормы произошел рост скоростей в шнеке и воронке на 10 %.
На рисунке 5Б представлены тренды скоростей темперирующих валов, на которых видно, что перед тем как возник дефект, произошло резкое падение скорости. Резкое падение скоростей различных валов происходит из-за недостаточного количества стабилизатора.
Второе тестирование подсистемы интеллектуального анализа данных позволило осуществить прогноз качества полимерной пленки, используя такие методы интеллектуального анализа как: дерево принятия решений и нейронная сеть. Точность математической модели, созданной при помощи дерева решений равна 89 %, а нейронной сети равна 92 % [19].
Третье тестирование подсистемы интеллектуального анализа данных происходило при помощи алгоритма дерева принятия решений и самоорганизующихся карт Кохонена, которое определило сочетание параметров и их диапазоны, позволяющие получить пленку требуемого качества.
Тестирование работоспособности подсистемы расчета толщины показало, что ее внедрение в опытно-промышленную эксплуатацию позволяет повысить эффективность управления размерным качеством каландруемых полимерных материалов. На рисунке 5В представлен график, отражающий зависимость толщины пленки.
Рисунок 4. Примеры работы математических методов и моделей интеллектуального анализа больших данных: А - регрессионный анализ; Б - Случайный лес; В - Самоорганизующиеся карты Кохонена
Проверка работоспособности подсистемы расчета усадки показала, что система настраивается на метод производства, позволяет сформировать советы оператору по подготовке к переходу производства на новое задание и рассчитать расходы красителей, обеспечивающие соответствие цвета материала эталону при перенастройке на новый цвет, в условиях колебаний запаса экструдата и подачи в
экструдер возвратных отходов. Тестирование системы проводилось на примере расчета усадки для образцов пленки, произведенных на каландровой линии КЛ1 завода Клекнер Пентапласт Рус. Величина усадки полученных образцов оценивались в лаборатории отдела контроля качества продукции. На рисунке 5Г представлен график, отражающий зависимость величины усадки [15].
Показатели качества
Управляющие воздействия
с
о
- черные ГОЧКИ
V
s
-
f
05:1 0:0« «5:3 1:0« «5:3 0:«0 05: 1:«0 05:4 0:«0 05:5 1:0»
Время
A
J I.Ii, врашслня
05:37:00 05:42:0» 05:47:00 05:52:»»
Время
Б
2
S
- 120 -
- Te i шина -ц«нтр
---To нцина - границы
i 1
M
01-0105 01-0106 111-И »7 01-01 08 01-01 09 01-0110 05:27:00 05:32:00 05:27:00 05:42:00 05:47:00 05:52:»0
Время Время
В Г
Рисунок 5. Тренды величин значений управляющих воздействий и показателей качества: А - Тренд величины черных точек; Б - тренды величин значений скорости вращения шнека, скорости загрузки материала в воронку и черных точек; В - тренды величины значения толщины;Г - тренды величин скоростей темперируюЩих валов и черных точек
Тестирование доказало работоспособность автоматизированной интеллектуальной системы для интеллектуального анализа промышленных данных при производстве полимерных материалов, алгоритма выяснения причин возникновения черных точек. Разработанная система является гибким настраиваемым инструментом для управления величиной усадки, толщиной и цветом полимерных пленок, адаптируемым к различным режимам производства и типам материалов за счет подбора параметров математических моделей и возможности дополнения библиотеки новыми моделями.
Заключение
Разработанная автоматизированная система позволяет управлять производством полимерных пленок с различными требованиями к качеству продукции. За счет использования библиотеки математических моделей система может рассчитывать значения толщины, цвета пленки, выявлять истинные причины возникновения дефектов, прогнозировать качество, выдавать сочетание переменных, позволяющие получить пленку наилучшего качества. Таким образом, использование системы позволяет снизить количество брака.
Литература
1. Kohlert M., König А. Advanced Polymerie Film Production Data Analysis and Process Optimization by Clus-
tering and Classification Methods. // Frontiers in Artificial Intelligence and Applications. 2012. №243, P.1953-1961.
2. Chistyakova T., Teterín M., Razygraev A., Kohlert C. Intellectual analysis system of big industrial data for quality management of polymer films // 13th International Symposium on Neural Networks, St. Petersburg, July 6-8 2016, Proceedings. SPb., 2016. Р. 565-572.
3. OCS Optical Control Systems GmbH. Firm Description. 2015. URL: http://www.ocsgmbh.com/ . (Дата обращения: 12.06.2017).
4. Kohlert M., König A. High Dimensional, Heterogeneous Multi-Sensor Data Analysis Approach for Process Yield Optimization in Polymer Film Industry // Neural Computing and Applications. 2014. № 25. Р. 480-488.
5. Wu X., Zhu X., Wu G.-Q., Ding W. Data mining with big data // IEEE Trans. Knowl. Discov. Data Eng. 2014. V. 26(1). P. 97-107.
6. Longadge R., Dongre S.S., Malik L.: Class imbalance problem in data mining: review // J. Comput. Sci. Netw. 2013. V. 2(1) P. 176-204.
7. Zorrilla M., Garcia-Saiz D. A service oriented architecture to provide data mining services for non-expert data miners. // Decision Support Systems Journal, 2013. V. 55(1). P. 399-411.
8. Vattulainen M. Data Quality Visualization for Preprocessing // Advances in Data Mining. Applications and Theoretical Aspects. ICDM 2016. Lecture Notes in Computer Science. 2016. V. 9728. P. 428-437.
9. Mikel Galar Fransico. A review on Ensembles for the class Imbalance Problem: Bagging,Boosting and HybridBased Approaches // IEEE Transactions On Systems, Man, And Cybernetics—Part C: Application And Reviews. July 2012. Vol.42. No.4. P. 463-484.
10. KDNuggets. Analytics, Data Mining, Big Data Software used. - 1997. URL: http://www.kdnuggets.com/soft-ware/index.html. (Дата обращения: 15.05.2017)
11. Perzyk M. Statistical and visualization data mining tools for foundry production. // Archives of Foundry Engineering, 2007. №7(3) . P. 111-116
12. Ветров Д. Машинное обучение - состояние и перспективы // Электронные библиотеки: перспективные методы и технологии, электронные коллекции. XV Всероссийская конференция RCDL'2013. Т. 1. Ярославль: ЯрГУ, 2013. С. 21-28.
13. König Л., Gratz, Л. Advanced Methods for the Analysis of Semiconductor Manufacturing Process Data. In: Advanced Techniques in Knowledge Discovery and Data Mining, pp. 27-74 (2005)
14. Юсупов Р.М., Мусаев A.A. Особенности оценивания эффективности информационных систем и технологий // Труды СПИИРАН. 2017. Вып. 51. C. 5-34.
15. Chistyakova T., Araztaganova A., Kohlert K. Computer system for thermal shrinkage polymer films obtaining processes control // Вестник КНИТУ, 2016. Т.19, № 17. P. 101-105.
Reference
1. Kohlert M., König A. Advanced Polymeric Film Production Data Analysis and Process Optimization by Clustering and Classification Methods. // Frontiers in Artificial Intelligence and Applications. 2012. №243, P.1953-1961.
2. Chistyakova T., Teterin M., Razygraev A., Kohlert C. Intellectual analysis system of big industrial data for quality management of polymer films // 13th International Symposium on Neural Networks, St. Petersburg, July 6-8 2016, Proceedings. SPb., 2016. R. 565-572.
3. OCS Optical Control Systems GmbH. Firm Description. 2015. URL: http://www.ocsgmbh.com/ . (Data obrashhenija: 12.06.2017).
4. Kohlert M., König A. High Dimensional, Heterogeneous Multi-Sensor Data Analysis Approach for Process
Yield Optimization in Polymer Film Industry // Neural Computing and Applications. 2014. № 25. R. 480-488.
5. Wu X., Zhu X., Wu G.-Q., Ding W. Data mining with big data // IEEE Trans. Knowl. Discov. Data Eng. 2014. V. 26(1). P. 97-107.
6. Longadge R., Dongre S.S., Malik L.: Class imbalance problem in data mining: review // J. Comput. Sci. Netw. 2013. V. 2(1) P. 176-204.
7. Zorrilla M., Garcia-Saiz D. A service oriented architecture to provide data mining services for non-expert data miners. // Decision Support Systems Journal, 2013. V. 55(1). P. 399-411.
8. Vattulainen M. Data Quality Visualization for Preprocessing // Advances in Data Mining. Applications and Theoretical Aspects. ICDM 2016. Lecture Notes in Computer Science. 2016. V. 9728. P. 428-437.
9. Mikel Galar Fransico. A review on Ensembles for the class Imbalance Problem: Bagging,Boosting and Hybrid-Based Approaches // IEEE Transactions On Systems, Man, And Cybernetics—Part C: Application And Reviews. July 2012. Vol.42. No.4. P. 463-484.
10. KDNuggets. Analytics, Data Mining, Big Data Software used. - 1997. URL: http://www.kdnuggets.com/soft-ware/index.html. (Data obrashhenija: 15.05.2017)
11. Perzyk M. Statistical and visualization data mining tools for foundry production. // Archives of Foundry Engineering, 2007. №7(3) . P. 111-116
12. Vetrov D. Mashinnoe obuchenie - sostojanie i perspektivy // Jelektronnye biblioteki: perspektivnye meto-dy i tehnologii, jelektronnye kollekcii. XV Vserossijskaja konferencija RCDL'2013. T. 1. Jaroslavl': JarGU, 2013. S. 21-28.
13. König A., Gratz A. Advanced Methods for the Analysis of Semiconductor Manufacturing Process Data. In: Advanced Techniques in Knowledge Discovery and Data Mining, pp. 27-74 (2005)
14. Jusupov R.M., Musaev A.A. Osobennosti ocenivanija jeffektivnosti informacionnyh sistem i tehnologij // Trudy SPIIRAN. 2017. Vyp. 51. C. 5-34.
15. Chistyakova T., Araztaganova A., Kohlert K. Computer system for thermal shrinkage polymer films obtaining processes control // Vestnik KNITU, 2016. T.19, № 17. P. 101-105.
