CC BY
66
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
УДК 681.518.5 Д. А. ЖУКОВ
ОЦЕНКА КАЧЕСТВА ДИАГНОСТИКИ ФУНКЦИОНИРОВАНИЯ ТЕХНИЧЕСКОГО ОБЪЕКТА МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ ПО РАЗЛИЧНЫМ КРИТЕРИЯМ
Для диагностики функционирования технических объектов могут быть использованы различные методы машинного обучения, при этом качество бинарной классификации (состояние объекта работоспособное или неработоспособное) оценивается по различным критериям: проценту ошибок в контрольной выборке, Е-мере и критерию ЛиС-ЯОС - площади под кривой ошибок. По результатам статистических испытаний проведён сравнительный анализ эффективности методов по этим критериям.
Ключевые слова: техническая диагностика, машинное обучение, бинарная классификация, меры качества.
Исследование выполнено при поддержке РФФИ и Правительства Ульяновской области, проект 18-48-730001.
Для распознавания состояния технического объекта могут быть использованы методы машинного обучения: проводится бинарная классификация; объекты подразделяются на работоспособные и неработоспособные с помощью моделей, полученных по обучающим выборкам. Исходными данными служат известные результаты оценки состояния системы: при заданных значениях контролируемых показателей техническая система исправна или неисправна.
Таким образом, имеется множество прецедентов - объекты с заданными показателями функционирования и соответствующими состояниями, принимающими одно из двух значений (+1 соответствует работоспособному состоянию объекта, -1 - неработоспособному. Требуется восстановить зависимость между показателями функционирования и состоянием объекта, то есть построить алгоритм, способный для любого набора показателей объекта выдать достаточно точный ответ о его состоянии. Это частный случай одной из задач машинного обучения - классификации при обучении по прецедентам (с учителем). Полученный алгоритм должен обладать обобщающей способностью: обеспечивать достаточно точные прогнозы на новых показателях, не входящих в исходную выборку. Качество классификации, которое определяет эффективность машинного обучения, зависит от ряда факторов: объёма и качества исходной выборки, метода машинного обучения,
© Жуков Д. А., 2018
способа разделения исходной выборки на обучающую и контрольную части, отбора значимых показателей и других.
Для оценки качества классификации исходная выборка разбивается на непересекающиеся подмножества: обучающую выборку и контрольную выборку. Контрольная выборка необходима для оценивания качества моделей классификации, полученных по обучающей выборке.
Наиболее простой метрикой, используемой для оценки качества бинарной классификации, является доля правильных ответов Ассигасу = P/N, где P - количество правильно классифицированных объектов контрольной выборки; N - общий размер контрольной выборки. Чаще используется противоположная характеристика - доля (или процент) ошибок на контрольной выборке.
При несбалансированных классах (а при решении задач технической диагностики классы практически всегда несбалансированны: работоспособных состояний аппаратуры значительно больше, чем неработоспособных) доля ошибок не может объективно оценивать качество классификации [1]. Гораздо более информативны точность
p = tp/(tp + fp)
и полнота
г = tp/(tp + fn), где tp - количество правильно классифицированных работоспособных состояний; fp - количество неправильно классифицированных работоспособных состояний; fn - количество
неправильно классифицированных неработоспособных состояний. На основе этих двух показателей может быть сформирован единый критерий
F = 2PR/(P + R) - это гармоническое среднее точности и полноты (F-мера): чем ближе значение F к единице, тем качество классификации выше.
Ещё один распространённый функционал качества бинарной классификации - площадь под ROC-кривой (receiver operating characteristics): AUC (area under the curve) [2]. ROC-кривая образуется, если по оси абсцисс откладывать значения fp(c), а по оси ординат tp(c), где c - порог. Площадь под ROC-кривой позволяет оценить модель в целом, не привязываясь к конкретному порогу. Значение AUC автоматически учитывает диспропорцию в представителях класса, а также имеет простую вероятностную интерпретацию: это вероятность того, что ответ на случайном объекте из класса 1 будет больше ответа на слу-
чайном объекте из класса 0. На рис. 1 показаны такие кривые для рассмотренного примера.
Пример
Исследование проводилось в пакете МайаЬ, позволяющем использовать различные методы бинарной классификации, а также обеспечивающим разбивку выборки на обучающую и контрольную части с проведением кросс-валидации - последовательном использовании одной части выборки в качестве контрольной, а остальных частей - в качестве обучающей выборки.
В качестве объекта исследования использовались данные по системе водоочистки: работоспособным считалось такое её состояние, при котором качество питьевой воды соответствовало требованиям по всем восьми контролируемым параметрам. Из 348 результатов наблюдений в 47 случаях (13,5%) система оказалась неисправной.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
False positive rate
Рис. 1. ROC-кривые для трёх методов обучения Меры качества при различных методах классификации
1
Таблица 1
Ошибка, % F-критерий AUC
логистическая регрессия (ЛР) 21.59 0.845 0.796
дискриминантный анализ (ДА) 24.70 0.815 0.708
наивный байесовский классификатор (БК) 24.13 0.817 0.736
нейронная сеть (НС) 18.97 0.862 0.933
метод опорных векторов (ОВ) 22.38 0.825 0.802
бэггинг деревьев решений (БД) 17.53 0.874 0.911
градиентный бустинг (вгБ) 20.71 0.862 0.897
AdaBoost (АБ) 20.97 0.851 0.887
LogitBoost (ЬБ) 22.73 0.839 0.887
GentleBoost (вБ) 22.14 0.841 0.782
RUSBoost (ИБ) 23.87 0.811 0.830
Таблица 2
F-критерий и среднеквадратичное отклонение по результатам испытаний
F-критерий СКО
нейронная сеть (НС) 0,838 0,0128
бэггинг деревьев решений (БД) 0,873 0,0075
градиентный бустинг (GrB) 0,861 0,0034
/ " - х
у / / \ \ s
\ V
/ / \
/ /
0,852 0,854 0.85Б 0,858 0,860 0,862 0,864 0,866 0,86В 0,870 0,853 0,855 0,857 0,859 0,861 0,863 0,865 0,867 0,869 0,871
Группа(верхние границы)
Рис. 2. Распределение значений Б-критерия
В таблице 1 приведены результаты классификации системы по трём рассмотренным мерам: лучшими методами оказались бэггинг деревьев решений (минимальный процент ошибок классификации и максимум Б-критерия), а также метод нейронных сетей (максимальная площадь под ЯОС-кривой).
В процессе исследования было обнаружено, что существенное влияние на результаты классификации оказывает разбиение выборки на контрольную и обучающую части. Даже при одинаковом объёме контрольной выборки повторные испытания за счёт случайного отбора элементов выборки давали несколько отличающиеся результаты.
Для дальнейшего исследования были отобраны три лучших результата классификации по Б-критерию (как отмечалось, этот критерий наиболее информативен при несбаласированных классах): нейронные сети, бэггинг деревьев решений и градиентный бустинг. Вычисления повторялись по пятьдесят раз (при этом в контрольную выборку каждый раз случайным образом попадали различные прецеденты), после чего находилось среднее значение по каждому из методов, а также соответствующие среднеквад-
ратичные отклонения (СКО). Результаты приведены в таблице 2.
По данным таблицы 2 можно сделать вывод, что метод нейронных сетей имеет большой разброс значений F-критерия: СКО = 0,0128 (на порядок выше, чем у других методов). Градиентный бустинг и бэггинг деревьев решений, наоборот, показали большую устойчивость к различным разбиениям исходной выборки. На рис. 2 представлено распределение значений F-критерия для градиентного бустинга (для построения использована система Statistica).
Также были построены 95%-е доверительные интервалы для F-критерия: для градиентного бустинга среднее значение этого критерия лежит в диапазоне от 0,860 до 0, 862, для бэггин-га деревьев решений - от 0,871 до 0,875.
СПИСОК ЛИТЕРАТУРЫ
1. Соколов Е. А. ФКН ВШЭ. Лекция 4. Линейная классификация // https://github.com /esokolov/ml-course-hse/blob/master/2018-fall/ lec-ture-notes/lecture04-linclass.pdf
2. Дьяконов А. М. AUC ROC (площадь под кривой ошибок) // https:// dyakonov.org/ 2017/
07/28/аис-гос-площадь-под-кривой-ошибок/ #more-5362
3. Жуков Д. А., Клячкин В. Н. Влияние объёма контрольной выборки на качество диагностики состояния технического объекта // Автоматизация процессов управления. - 2018. - №2 (52). -С. 90-95.
4. Клячкин В. Н. Статистические методы в управлении качеством: компьютерные технологии. - Москва : Финансы и статистика, ИНФРА-М, 2009. - 304 с.
5. Клячкин В. Н., Кувайскова Ю. Е., Алексеева В. А. Статистические методы анализа данных. - Москва : Финансы и статистика, 2016.
- 240 с.
6. Клячкин В. Н., Кувайскова Ю. Е., Жуков Д. А. Диагностика технического состояния аппаратуры с использованием агрегированных классификаторов // Радиотехника. - 2018. - №6. -
C. 46-49.
7. Klyachkin V. N., Kuvayskova Yu. E., Zhukov
D. А. The use of aggregate classifiers in technical diagnostics, based on machine learning // CEUR Workshop Proceeding, vol. 1903. Data Science. Information Technology and Nanotechnology. - 2017.
- Р. 32-35.
8. Жуков Д. А., Хорева А. С., Кувайскова Ю. Е., Клячкин В. Н. Формирование контрольных выборок при технической диагностике объекта с применением машинного обучения // Математические методы и модели: теория, приложения и роль в образовании. Международная научно-техническая конференция : сборник научных трудов. - Ульяновск, 2016. - С. 44-48.
9. Жуков Д. А., Клячкин В. Н. Применение метода главных компонент при диагностике состояния технического объекта // Прикладная математика и информатика: современные исследования в области естественных и технических наук. Материалы IV научно-практической Международной конференции (школы-семинара) молодых учёных: в 2 ч. - Тольятти, 2018.- С. 109-112.
Жуков Дмитрий Анатольевич, окончил факультет информационных систем и технологий УлГТУ, аспирант кафедры прикладной математики и информатики УлГТУ. Имеет статьи в области технической диагностики и машинного обучения.
Поступила 19.10.2018 г.
УДК 004.45 Н. Ф. НИЗАМОВ
АНАЛИЗ ЗАГРУЖЕННОСТИ РЕСУРСОВ НА ОСНОВЕ СИСТЕМЫ НЕЧЁТКОГО ЛОГИЧЕСКОГО ВЫВОДА
Проводится анализ ресурсов проекта из Microsoft Project. Предлагается механизм анализа загруженности на основе системы нечёткого логического вывода. Выбранный механизм анализа позволяет небольшим количеством нечётких правил адекватно отписать многомерные зависимости.
Ключевые слова: нечёткий логический вывод, анализ, ресурсы, MS Project, C#.
Введение
Система нечётких выводов является ключевым элементом системы нечёткой логики, принимающей решения в качестве основной работы. Используется правило «ЕСЛИ ... ТОГДА» вместе с соединителями «ИЛИ» или «И» для составления основных правил принятия решений.
© Низамов Н. Ф., 2018
Нечёткий логический вывод - это процесс получения нечётких заключений на основе нечётких условий или предпосылок [1]. Вычисленное значение истинности для предпосылок каждого правила применяется к заключениям каждого правила. Это приводит к одному нечёткому подмножеству, которое будет назначено каждой переменной вывода для каждого правила.
Ниже рассматривается анализ загруженности ресурсов на основе нечёткого логического
