АВТОМАТИЗИРОВАННАЯ СИСТЕМА ДИАГНОСТИКИ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА С ИСПОЛЬЗОВАНИЕМ АГРЕГИРОВАННЫХ КЛАССИФИКАТОРОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

ДИАГНОСТИЧЕСКИЕ МЕТОДЫ ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ И КАЧЕСТВА СЛОЖНЫХ СИСТЕМ

DIAGNOSTIC METHODS FOR ENSURING RELIABILITY AND THE QUALITY OF COMPLEX SYSTEMS

УДК 681.518.5 DOI 10.21685/2307-4205-2020-4-6

В. Н. Клячкин, Д. А. Жуков

АВТОМАТИЗИРОВАННАЯ СИСТЕМА ДИАГНОСТИКИ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА С ИСПОЛЬЗОВАНИЕМ АГРЕГИРОВАННЫХ КЛАССИФИКАТОРОВ

V. N. Klyachkin, D. A. Zhukov

AUTOMATED DIAGNOSTIC SYSTEM OF THE TECHNICAL CONDITION OF THE OBJECT USING THE AGGREGATED CLASSIFIERS

Аннотация. Актуальность и цели. Для обеспечения надежности технического объекта проводится его диагностика в условиях эксплуатации по результатам мониторинга показателей функционирования этого объекта. Актуальность задачи обусловлена постоянно растущими требованиями по безопасности и надежности техники. При диагностировании работоспособности технического объекта требуется оценить его состояние по заданным показателям функционирования. При этом могут использоваться методы многомерной классификации, как стандартные статистические, так и специальные методы машинного обучения. Существенными особенностями рассматриваемой задачи являются, во-первых, несбалансированность обучающей выборки: информации о показателях функционирования при неработоспособных состояниях объекта гораздо меньше, чем при работоспособных, и во-вторых, сравнительно небольшой объем выборки (как правило, сотни наблюдений, в отличие от «BigData» в десятки и сотни тысяч в обычных задачах машинного обучения). Цель исследования - разработка программного комплекса, который в автоматическом режиме, анализируя ис-

© Клячкин В. Н., Жуков Д. А., 2020

Abstract. Background. To ensure the reliability of the technical object, its diagnostics is carried out in operating conditions according to the results of monitoring the performance indicators of this object. The relevance of the task is due to the constantly growing requirements for the safety and reliability of technology. When diagnosing the operability of a technical object, it is required to evaluate its condition according to specified performance indicators. In this case, multidimensional classification methods can be used, both standard statistical and special machine learning methods. Significant features of the problem under consideration are, firstly, the imbalance of the training sample: information on the performance indicators for inoperative states of the object is much less than for healthy ones, and secondly, a relatively small sample size (usually hundreds of observations, unlike "BigData" «Tens and hundreds of thousands in the usual problems of machine learning). The aim of the study is to develop a software package that, automatically, analyzing the initial data on the results of the previous operation, would give an opinion on the operability of the facility and would predict its condition according to specified performance indicators. Materials and methods. To solve the diagnostic problem,

ходные данные о результатах предшествующей эксплуатации, давал бы заключение о работоспособности объекта и прогнозировал бы его состояние по заданным показателям функционирования. Материалы и методы. Для решения задачи диагностики могут быть использованы различные методы машинного обучения: наивный байесовский классификатор, метод опорных векторов, композиционные методы (бэггинг и бустинг) и др. Для повышения точности диагностики могут быть применены агрегированные методы классификации, которые используют комбинацию базовых моделей, построенных на обучающей выборке. При формировании единого решения о работоспособности объекта можно использовать три варианта агрегирования результатов: по среднему значению, по медиане, а также с помощью процедуры голосования. Кроме агрегирования, качество диагностики также зависит от выбранного объема контрольной выборки и способа отбора значимых показателей. Доля контрольной выборки в общем объеме исходных данных (или количество блоков разбиения выборки при кросс-валидации) оказывает неоднозначное влияние на качество классификации: для каждого конкретного технического объекта необходимо оценивать этот фактор индивидуально. Еще один фактор, существенно влияющий на качество диагностики, - это значимость влияния рассматриваемых показателей функционирования на состояние объекта. Рассматриваются два подхода к оценке значимости показателей. Результаты и выводы. Разработан алгоритм и программный комплекс для диагностики технического состояния объекта с использованием агрегированных классификаторов, включающий в себя: разбиение исходных данных на контрольную и обучающую выборки, отбор значимых признаков, построение базовых и агрегированных классификаторов, поиск наилучшего по ^-критерию метода, а также возможность прогнозирования состояния технического объекта. Все перечисленные функции рассчитываются в автоматизированном режиме, тем самым для осуществления диагностики технического объекта достаточно загрузить данные о его предшествующих состояниях и программный комплекс подберет оптимальные параметры для получения наиболее точного результата. В качестве объекта исследования использовалась система горячего водоснабжения в городе Ульяновск: контроль проводился по данным, снятым со счетчиков водоснабжения. Путем проведения статистических испытаний показана эффективность разработанных моделей и алгоритмов, при этом значение ^-критерия на исследуемых выборках за счет применения агрегирования, выбора объема контроля и отбора значимых показателей увеличилось до 15 % относительно базовых методов.

Ключевые слова: техническая диагностика, показатели функционирования, работоспособность, агрегированные классификаторы, кросс-валидация, ^-критерий, счетчик горячего водоснабжения.

various machine learning methods can be used: a naive Bayesian classifier, a support vector method, compositional methods (bagging and boosting) and others. To increase the accuracy of diagnostics, aggregated classification methods can be applied that use a combination of basic models built on a training set. When forming a unified decision on the operability of an object, you can use three options for aggregating results: by average, by median, and also by using the voting procedure. In addition to aggregation, the quality of diagnostics also depends on the selected volume of the control sample and the method of selecting significant indicators. The share of the control sample in the total volume of the source data (or the number of blocks of sample splitting during cross-validation) has an ambiguous effect on the quality of classification: for each specific technical object, it is necessary to evaluate this factor individually. Another factor that significantly affects the quality of diagnostics is the significance of the influence of the considered indicators of functioning on the state of the object. Two approaches to assessing the significance of indicators are considered. Results and conclusions. An algorithm and software package for diagnosing the technical condition of an object using aggregated classifiers has been developed, including: dividing the source data into control and training samples, selecting significant features, building basic and aggregated classifiers, searching for the best method according to the F-criterion, as well as the ability to predict state of the technical object. All these functions are calculated in an automated mode, thus, to carry out diagnostics of a technical object, it is enough to download data on its previous states and the software package will select the optimal parameters to obtain the most accurate result. The hot water supply system in the city of Ulyanovsk was used as the object of study: control was carried out according to data taken from water supply meters. By carrying out statistical tests, the effectiveness of the developed models and algorithms is shown, while the value of the F-criterion in the studied samples through the use of aggregation, the choice of control volume and the selection of significant indicators increased to 15 % relative to the basic methods.

Keywords: technical diagnostics, performance indicators, operability, aggregated classifiers, cross-validation, F-criterion, counter of hot water supply.

Постановка задачи

Для обеспечения надежности технического объекта проводится его диагностика в условиях эксплуатации по результатам мониторинга показателей функционирования этого объекта. Актуальность задачи обусловлена постоянно растущими требованиями по безопасности и надежности техники [1-3], а современные компьютерные технологии, в частности, используемые в настоящей работе методы машинного обучения, позволяют более точно диагностировать состояние объекта. Часто диагностика сводится к распознаванию одного из двух состояний: к разделению состояний объекта на исправные или неисправные, работоспособные или неработоспособные.

При диагностировании работоспособности технического объекта требуется оценить его состояние по заданным показателям функционирования. При этом могут использоваться методы многомерной классификации, как стандартные статистические, так и специальные методы машинного обучения, к которым относятся нейронные сети, ансамбли моделей и др. [4-6]. Существенными особенностями рассматриваемой задачи являются, во-первых, несбалансированность обучающей выборки: информации о показателях функционирования при неработоспособных состояниях объекта гораздо меньше, чем при работоспособных, и во-вторых, сравнительно небольшой объем выборки (как правило, сотни наблюдений, в отличие от «BigData» в десятки и сотни тысяч в обычных задачах машинного обучения).

Диагностика работоспособности объекта может рассматриваться как задача бинарной классификации [7-9]. Точность решения этой задачи зависит от:

- объема выборки с данными по результатам мониторинга функционирования объекта в процессе эксплуатации;

- качества этой выборки (в частности, наличия выбросов и пропущенных наблюдений);

- способа разделения выборочных данных на обучающую и контрольную части;

- метода классификации (могут быть использованы десятки существенно различающихся различных моделей классификации);

- критериев качества диагностики;

- значимости контролируемых показателей;

- других факторов.

Выбор этих факторов, обеспечивающих необходимую точность диагностики, является важной задачей.

Цель исследования - разработка программного комплекса, который в автоматическом режиме, анализируя исходные данные о результатах предшествующей эксплуатации, давал бы заключение о работоспособности объекта и прогнозировал бы его состояние по заданным показателям функционирования.

Агрегированные классификаторы в задачах машинного обучения

Как уже отмечалось, для решения задачи диагностики могут быть использованы различные методы машинного обучения: наивный байесовский классификатор, метод опорных векторов, композиционные методы (бэггинг и бустинг) и др. При этом не существует универсальной модели, которая могла бы спрогнозировать состояние технического объекта с явным преимуществом.

Для повышения точности диагностики могут быть применены агрегированные методы классификации, которые используют комбинацию базовых моделей, построенных на обучающей выборке. При этом надо определить, какие методы обучения использовать (например, в системе Matlab, в которой решалась задача, встроены 11 методов классификации), как их объединить и как принять решение о работоспособности объекта на основе решений отдельных методов?

Перебор всех возможных сочетаний методов классификации дает слишком большое количество моделей и неоправданный объем вычислений. Проведенные численные исследования и их статистический анализ показали, что увеличение числа компонентов в агрегате больше двух не приводит к существенному повышению точности. На практике возможен перебор лишь десяти агрегированных моделей: сочетание лучшей из базовых с одной из остальных. Структуры агрегированных классификаторов могут отличаться друг от друга из-за того, что разбивка исходных данных на обучающую и контрольную выборки производится случайным образом.

Для формирования единого решения о работоспособности объекта на основе решений отдельных методов классификации можно использовать три варианта агрегирования результатов [10, 11]: по среднему значению, по медиане, а также с помощью процедуры голосования.

Построим математическую модель агрегированного метода классификации по среднему значению для двух базовых методов. Предположим, что при проведении диагностики функционирования рассматриваемого объекта наилучшими по заданному критерию оказались метод опорных векторов и один из вариантов бустинга.

Тогда математическая модель агрегированного метода классификации по среднему значению для двух базовых методов - опорных векторов и бустинга - примет вид

PAKcp(X ) - ^

1

1

1 + exp( - £ w^j + w0) 1 + exp( - £ а Д)

j-i t-1

РАКср (Х) - это вероятность того, что при заданной матрице показателей Х объект работоспособен, найденная с помощью агрегированного классификатора АК по среднему значению, xj - показатели

функционирования, w]■ - параметры метода опорных векторов, определяемые с использованием метода множителей Лагранжа; Н(х) - базовые классификаторы бустинга; а - коэффициент взвешенного голосования для соответствующего классификатора к(х), определяемый в зависимости от конкретного метода бустинга (АёаВооз!;, LogitBoost, вепЙеВооз! и др.). Подобным образом могут быть построены и модели агрегирования для других базовых методов.

Кроме агрегирования, для повышения качества диагностики также зависит от выбранного объема контрольной выборки и способа отбора значимых показателей. Доля контрольной выборки в общем объеме исходных данных (или количество блоков разбиения выборки при кросс-валидации) оказывает неоднозначное влияние на качество классификации: для каждого конкретного технического объекта необходимо оценивать этот фактор индивидуально.

Еще один фактор, существенно влияющий на качество диагностики, - это значимость влияния рассматриваемых показателей функционирования на состояние объекта. Рассматривались два подхода к оценке значимости показателей [12]. Первый подход связан с анализом корреляционной матрицы: например, если коэффициент корреляции между показателем функционирования х■ и состоянием объекта У (У = 1 - объект работоспособен, У = 0 - объект неработоспособен) близок к нулю, то маловероятно, чтобы такой показатель был значим. Второй подход - оценка значимости регрессо-ров по критерию Стьюдента в линейной регрессионной модели зависимости состояния объекта У от показателей xj.

Учитывая несбалансированность классов при исследовании функционирования технических объектов (количество наблюдений с работоспособными объектами, как правило, значительно больше, чем с неработоспособными), критерием качества классификации следует выбирать Г-меру: гармоническое среднее между точностью и полнотой классификации; чем это значение ближе к единице, тем качество классификации лучше. Иногда, при совпадении значений этой меры для различных методов, можно дополнительно использовать в качестве критерия площадь под кривой ошибок [12, 13].

Автоматизированная система диагностики

Для разработки программы диагностики функционирования технического объекта, позволяющей в автоматическом режиме построить наилучшую модель для прогнозирования состояния объекта, использован алгоритм, основанный на результатах изложенного исследования. При этом для расчетов применяется кросс-валидация на всех этапах: при выборе наилучшего объема контрольной выборки, при отборе значимых показателей, при поиске методов обучения, обеспечивающих максимальное значение Г-критерия на контрольной выборке.

Вначале пользователю предлагается выбор файла, в котором хранятся исходные данные. Данный файл должен быть в формате .хк или .хкх, а содержимое файла: первый столбец - отклик, далее - столбцы показателей функционирования технического объекта.

После считывания файла исходных данных (рис. 1) задается объем контрольной выборки. Для сокращения вычислений принимается начальное значение объема контроля 25 %, т.е. при кросс-валидации выборка разбивается на четыре части, три из которых используются для обучения.

Далее проводится обучение по всем 11 базовым методам классификации с использованием всех заданных показателей функционирования объекта (без отбора значимых показателей) на базе

библиотеки инструментов Statistics and Machine Learning Toolbox в пакете Matlab с расчетом F-меры. Выбирается заданное пользователем количество методов (исследования показывают, что достаточно два-три, хотя возможен и полный перебор), показавших наибольшее значение F-меры.

Для отобранных методов исследуется вначале влияние объема контрольной выборки, а затем -способа отбора значимых показателей. Объем контрольной выборки последовательно снижается с 25 до 5 % (соответственно количество блоков разбиения при кросс-валидации равно 20) с шагом 5 %. Для вариантов, в которых F-мера оказалась максимальной, проводится отбор значимых показателей. При этом используются два рассмотренных подхода к оценке значимости.

По результатам проведенных испытаний принимаются значение объема контрольной выборки и показатели, которые будут использованы для продолжения машинного обучения. С учетом этих двух факторов строятся агрегированные классификаторы трех типов - по среднему значению, по медиане и с помощью процедуры голосования. Выбирается модель (включающая вид агрегирования и компоненты агрегата: несколько базовых классификаторов), которая в дальнейшем используется для прогнозирования состояния технического объекта.

Численное исследование

В качестве объекта исследования использовалась система горячего водоснабжения в городе Ульяновск: контроль проводился по данным, снятым со счетчиков водоснабжения. Контролировалась работа системы водоснабжения горячей воды на наличие утечек (система неработоспособна: У = 0) по показателям функционирования: Х1 - температура воды в подающем трубопроводе; Х2 - расход рабочей жидкости в трубопроводе подачи; Х3 - расход рабочей жидкости в трубопроводе «обратки»; Х4 - подаваемое давление; Х5 - обратное давление; Х6 - количество тепловой энергии. Объем исходной выборки составил 756 наблюдений (из них 584 работоспособных состояния).

Задача: используя матрицу X показателей функционирования счетчиков размерностью 756 строк и 6 столбцов и вектор-столбец ответов о наличии или отсутствии утечек в системе У, разработать модель бинарного классификатора, которая по вновь поступившим показателям функционирования счетчиков даст прогноз о работоспособности системы водоснабжения.

На рис. 1 показаны исходные данные, из которых случайным образом формируются обучающая и контрольная выборки, а на рис. 2 - результаты расчета: наилучшей долей контрольной выборки оказались 25 %; значимость показателей оценивалась по регрессионной модели, при этом незначимым оказался показатель Х6 (количество тепловой энергии); лучшими методами классификации оказались АМ-С (агрегирование по среднему значению) и АМ-М (по медиане), при этом оба метода показали одинаковое значение Г-меры (Г = 0,9164) и одинаковую структуру, включающую ДА -дискриминантный анализ, БДР - бэггинг деревьев решений и вВ - метод бустинга GentleBoost.

Ж Выбор данных

□

X

Загрузить данные

Объем

756

14

15

16

17

18

19

20

21

22

23

24

25

26

27

1 66.3000

1 66.3100

0 66.2600

1 66.2100

1 66.0700

1 66.0100

1 65.9400

1 65.7700

1 66.0900

1 64.7000

0 56.9300

0 57.0400

1 57.2500 1 57.3200

7.4100 7.9200 7.9900 8.1900 8.2700 9.0700 9.0400 9.1700 3.2500 7.0700 6.5400 6.1600 6.1100 5.3500

6.4100 6.3500 6.4900 6.5800 6.3500 6.8500 6.8500 6.8000 6.6800 6.0700 6.1500 5.8800 5.7500 5.7300

2.4400 2.3500 6

2.1600 2.4600 2.0700 2.4600 2.0300 1.9900 2.0300 2.4600 2.4300 2.1500 2.4800

3.0900 2.4100 2.5200 4.5100 3.6700 3.1700 5.7200 4.5200 6.2000 2.7100 4 4

1.5600 1.0100

0.0550 0.0370 0.0340 0.0900 0.0300 0.1260 0.1240 0.1340 0.0330 0.0550 0.0130 0.0130 0.0170 0.0050

Рис. 1. Ввод исходных данных

Лучший процент контрольной выборки

Отбор признаков:

25

Выполнить расчет

по значимости регрессоров

Лучшие методы:

Метод F-критерий

1 AM-C: ДА + БДР + GB 0.9164

2 AM-M: ДА +■ БДР + GB 0.9164

3 АМ-Г: БДР+ LB 0.9061

Рис. 2. Результаты расчета

В разработанной программе можно провести прогнозирование нового состояния счетчика. Прогнозирование происходит по лучшему методу, полученному при выполнении основного алгоритма. При вводе данных, например из табл. 1, получаем результат, показанный на рис. 3: У = 1 -счетчик работоспособен, утечка не прогнозируется.

Таблица 1

Новые показатели функционирования счетчика

Х1 Х2 Х3 Х4 Х5

66,4 8,35 6,41 2,48 3,02

Прогноз НОВОГО СОСТОЯНИЯ "1

Рис. 3. Прогнозирование нового состояния счетчика Заключение

Разработаны алгоритм и программный комплекс для диагностики технического состояния объекта с использованием агрегированных классификаторов, включающий в себя: разбиение исходных данных на контрольную и обучающую выборки, отбор значимых признаков, построение базовых и агрегированных классификаторов, поиск наилучшего по ^-критерию метода, а также возможность прогнозирования состояния технического объекта. Все перечисленные функции рассчитываются в автоматизированном режиме, тем самым для осуществления диагностики объекта достаточно загрузить данные о его предшествующих состояниях и программный комплекс подберет оптимальные параметры для получения наиболее точного результата.

Путем проведения статистических испытаний показана эффективность разработанных моделей и алгоритмов, при этом значение ^-критерия на различных исследуемых выборках за счет применения агрегирования, выбора объема контроля и отбора значимых показателей увеличилось до 15 % относительно базовых методов.

Исследование выполнено при финансовой поддержке РФФИ и Правительства Ульяновской области, проект 18-48-730001.

Библиографический список

1. Мишанов, Р. О. Анализ точности классификации электрорадиоизделий для космической аппаратуры в зависимости от времени прогнозирования / Р. О. Мишанов // Надежность и качество сложных систем. -2019. - № 4 (28). - С. 112-117.

2. Северцев, Н. А. Методы и модели создания автоматизированных средств контроля для повышения безопасности функционирования технических систем / Н. А. Северцев, А. В. Бецков, А. Н. Дарьина // Надежность и качество сложных систем. - 2019. - № 2 (26). - С. 19-26.

3. Юрков, Н. К. Риски отказов сложных систем / Н. К. Юрков // Надежность и качество сложных систем. -2014. - № 1 (5). - С. 18-24.

4. Биргер, И. А. Техническая диагностика / И. А. Биргер. - Москва : Машиностроение, 1978. - 240 с.

5. Клячкин, В. Н. Прогнозирование и диагностика стабильности функционирования технических объектов / В. Н. Клячкин, В. Р. Крашенинников, Ю. Е. Кувайскова. - Москва : Русайнс, 2020. - 200 с.

6. Klyachkin, V. N. Multivariate Statistical Process Control by Individual Observations / V. N. Klyachkin, I. N. Karpunina // International Journal of Innovative Technology and Exploring Engineering (IJITEE). - 2019. -Vol. 8 (6S3). - P. 590-593.

7. Воронина, В. В. Теория и практика машинного обучения : учеб. пособие / В. В. Воронина, А. В. Михеев, Н. Г. Ярушкина, К. В. Святов. - Ульяновск : УлГТУ, 2017. - 290 с.

8. Neykov, M. On the Characterization of a Class of Fisher-Consistent Loss Functions and its Application to Boosting / M. Neykov, Jun S. Liu, Tianxi Cai // Journal of Machine Learning Research. - 2016. - № 17 (70). - P. 1-32.

9. Wyner, A. J. Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers / A. J. Wyner, M. Olson, J. Bleich, D. Mease // Journal of Machine Learning Research. - 2017. - № 18 (48). - P. 1-33.

10. Клячкин, В. Н. Диагностика технического состояния аппаратуры с использованием агрегированных классификаторов / В. Н. Клячкин, Ю. Е. Кувайскова, Д. А. Жуков // Радиотехника. - 2018. - № 6. - С. 46-49.

11. Klyachkin, V. N. Aggregated Classifiers for State Diagnostics of the Technical Object / V. N. Klyachkin, J. E. Kuvayskova, D. A. Zhukov // International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon - 2019). - Vladivostok, 2019. - Vol. 22. - P. 244-260. - DOI 10.15827/0236-235x.126.244-260.

12. Жуков, Д. А. Особенности диагностики функционирования технического объекта методами машинного обучения / Д. А. Жуков // Современные проблемы проектирования, производства и эксплуатации радиотехнических систем : сб. - Ульяновск, 2019. - С. 214-216.

13. Davis, J. The relationship between Precision-Recall and ROC curves / J. Davis, M. Goadrich // Proceedings of the 23rd international conference on Machine learning. - Pittsburgh, 2006. - P. 233-240.

14. Жуков, Д. А. Анализ критериев качества классификации при диагностике функционирования технического объекта / Д. А. Жуков // Автоматизация процессов управления. - 2019. - № 3 (57). - С. 112-117.

References

1. Mishanov R. O. Nadezhnost' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2019, no. 4 (28), pp. 112-117. [In Russian]

2. Severtsev N. A., Betskov A. V., Dar'ina A. N. Nadezhnost' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2019, no. 2 (26), pp. 19-26. [In Russian]

3. Yurkov N. K. Nadezhnost' i kachestvo slozhnykh system [Reliability and quality of complex systems]. 2014, no. 1 (5), pp. 18-24. [In Russian]

4. Birger I. A. Tekhnicheskaya diagnostika [Technical diagnostics]. Moscow: Mashinostroenie, 1978, 240 p. [In Russian]

5. Klyachkin V. N., Krasheninnikov V. R., Kuvayskova Yu. E. Prognozirovanie i diagnostika stabil'nosti funktsionirovaniya tekhnicheskikh ob"ektov [Forecasting and diagnostics of the stability of the functioning of technical objects]. Moscow: Rusayns, 2020, 200 p. [In Russian]

6. Klyachkin V. N., Karpunina I. N. International Journal of Innovative Technology and Exploring Engineering (IJITEE). 2019, vol. 8 (6S3), pp. 590-593.

7. Voronina V. V., Mikheev A. V., Yarushkina N. G., Svyatov K. V. Teoriya i praktika mashinnogo obucheniya: ucheb. posobie [Theory and practice of machine learning: a textbook]. Ulyanovsk: UlGTU, 2017, 290 p. [In Russian]

8. Neykov M., Liu Jun S., Cai Tianxi Journal of Machine Learning Research. 2016, no. 17 (70), pp. 1-32.

9. Wyner A. J., Olson M., Bleich J., Mease D. Journal of Machine Learning Research. 2017, no. 18 (48), pp. 1-33.

10. Klyachkin V. N., Kuvayskova Yu. E., Zhukov D. A. Radiotekhnika [Radio engineering]. 2018, no. 6, pp. 46-49. [In Russian]

11. Klyachkin V. N., Kuvayskova J. E., Zhukov D. A. International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon - 2019). Vladivostok, 2019, vol. 22, pp. 244-260. DOI 10.15827/0236-235x.126.244-260.

12. Zhukov D. A. Sovremennye problemy proektirovaniya, proizvodstva i ekspluatatsii radiotekhnicheskikh sistem: sb. [Modern problems of design, production and operation of radio engineering systems: collection]. Ulyanovsk, 2019, pp. 214-216. [In Russian]

13. Davis J., Goadrich M. Proceedings of the 23rd international conference on Machine learning. Pittsburgh, 2006, pp. 233-240.

14. Zhukov D. A. Avtomatizatsiyaprotsessov upravleniya [Automation of management processes]. 2019, no. 3 (57), pp. 112-117. [In Russian]

Клячкин Владимир Николаевич

доктор технических наук, профессор,

кафедра прикладной математики и информатики,

Ульяновский государственный

технический университет

(Россия, г. Ульяновск, ул. Северный Венец, 32)

E-mail: [email protected]

Жуков Дмитрий Анатольевич

специалист по базе данных,

Ульяновский филиал конструкторского бюро

ПАО «Туполев»

(Россия, г. Ульяновск, проспект О. К. Антонова, 1) E-mail: [email protected]

Klyachkin Vladimir Nikolaevich

doctor of technical sciences, professor, sub-department of applied mathematics and informatics, Ulyanovsk State Technical University (32 Severny Venec street, Ulyanovsk, Russia)

Zhukov Dmitry Anatolyevich

database specialist,

Ulyanovsk branch of the design bureau of PJSC Tupolev

(1 O. K. Antonova avenue, Ulyanovsk, Russia)

Образец цитирования:

Клячкин, В. Н. Автоматизированная система диагностики технического состояния объекта с использованием агрегированных классификаторов / В. Н. Клячкин, Д. А. Жуков // Надежность и качество сложных систем. - 2020. - № 4 (32). - С. 50-57. - БО! 10.21685/2307-4205-2020-4-6.