Таксономия методов машинного обучения и оценка качества классификации и обучаемости Текст научной статьи по специальности «Компьютерные и информационные науки»

Электронный журнал Cloud of Science. 2015. T. 2. № 3

http:/ / cloudofscience.ru ISSN 2409-031X

Таксономия методов машинного обучения и оценка качества классификации и обучаемости

Р. И. Мухамедиев*, Е. Л. Мухамедиева*,Я. И. Кучин**

*Институт информационных и вычислительных технологий 050010, Республика Казахстан, Алматы, Пушкина, 125

**Компания «Геотехносервис», Казахатомпром 050012, Казахстан. Алматы, Богенбай батыра 156-156a

e-mail: [email protected]

Аннотация. В работе рассматриваются так называемые интеллектуальные методы и как их важная составляющая — сфера машинного обучения (machine learning — ML), относящаяся к части слабого искусственного интеллекта. Приведена таксономия методов ML и описаны показатели оценки точности классификации. Рассмотрены способы использования «кривых обучения» для оценки методов ML в динамике роста числа обучающих примеров.

Ключевые слова: машинное обучение, искусственные нейронные сети, accuracy, precision, recall, T1 Score, таксономия, обучаемость.

1. Введение

Интеллектуальные методы — обширный раздел современной информационной науки, предназначенный для внедрения в практику методов принятия решений обычно применяемых человеком. Синонимичным понятием является искусственный интеллект (ИИ).

Сфера искусственного интеллекта (Artificial Intelligence — AI) весьма обширна и включает в себя множество направлений, начиная от логики и заканчивая методами оценки тональности текстов. Традиционно выделяют так называемый сильный искусственный интеллект (Strong AI) и слабый искусственный интеллект (Weak AI). Первый ориентирован на создание систем, выполняющих высокоинтеллектуальные задачи, присущие человеку, в конечном счете на создание мыслящих машин. Подобные разработки финансируются DARPA, как, например, упоминавшаяся выше лаборатория [1]. Можно отметить также работу, которая одной из первых определила само понятие «мысль» в популярной форме, описавшая принципы функционирования мозга.

Слабый ИИ ориентирован на создание приложений, в которых реализуется та или иная интеллектуальная способность человека или животных. Например, способность безопасного движения по пересеченной местности, роевой (муравьиный)

или распределенный интеллект [2] системы естественного отбора (так называемые генетические алгоритмы) и т. п. Часто сюда же относят область, именуемую интеллектуальными агентами [3], и мультиагентные системы, подробно описанные в работах В. И. Городецкого [4, 5].

По мере своего развития ИИ как наука, находясь в авангарде научных исследований, постепенно меняет свое содержание. Если вначале своего развития к сфере ее интересов относились такие задачи, как биоидентификация, распознавание текста и т. п., то в дальнейшем они превратились по существу в сферу технологий, широко применяемых в прикладных науках, разработках и промышленности [6]. Одним из успешных направлений искусственного интеллекта, нашедшим очень много приложений, является машинное обучение.

Машинное обучение (Machine Learning) — обширный раздел искусственного интеллекта, изучающий методы построения алгоритмов и программ, способных обучаться [7]. К методам машинного обучения относится широкий класс алгоритмов, начиная от деревьев принятия решений, генетических алгоритмов, байесовских сетей и заканчивая искусственными нейронными сетями.

Искусственные нейронные сети (ИНС) широко используются в задачах классификации и распознавания образов [4, 8]. Отдельный класс сетей (сети Хопфилда, Хемминга и Кохонена [9], используется как средство ассоциативной памяти. Со времени своего возникновения в конце 50-х гг. прошлого столетия (персептрон Ро-зенблата) ИНС прочно ассоциируются с искусственным интеллектом, поскольку имитируют важные особенности естественного интеллекта — способность к обучению и ассоциативность. Обширная библиография, посвященная нейронным сетям и их приложениям, отражает неослабевающий интерес исследователей к данному направлению (например, библиография в классических изданиях включает более 2000 источников).

В процессе изучения аппарата нейронных сетей возникло несколько основных направлений.

Первое направление связано с возможностью применения формируемых нейронных сетей для решения классических задач вычислительной математики. Возможность такого подхода объясняется особенностями искусственного нейрона, который представляет собой элементарный процессор, а нейронная сеть из искусственных нейронов параллельную структуру. Возможность распараллеливания вычислений и потенциальная высокая устойчивость сети к ошибкам открыла путь к созданию аппаратно формируемых нейронных сетей. Теоретические аспекты данного направления обоснованы в работах А. В. Галушкина [10].

Второе направление связано с поисками способов обучения нейронной сети и переходом от однослойной сети нейронов к многослойной. Теоретическая ограни-

ченность решения сложных задач классификации объектов с применением однослойных сетей обоснована в книге [11]. В то же время многослойные сети не имеют таких ограничений и могут моделировать разделяющие функции практически любой степени сложности. В рамках этого направления исследуются архитектуры нейронных сетей и их способность к решению практических задач. При этом применяются многочисленные эмуляторы, например, Neuro Office, NeuroPro, MATLAB, NeuroStock, Deductor, Alyuda NeuroIntelligence и другие, моделирующие работу нейронной сети на стандартном компьютере. Применяются также библиотеки программ, разработанные для языков Python [12], C++ и т. п. Реализация алгоритмов нейронных сетей представлена также в широко известных системах машинного обучения Rapid Miner [13], Weka [14].

Третье направление связано с решением вопросов построения универсального нейронного компьютера, способного обучаться и решать после обучения сложные задачи классификации.

Массовое внимание получило второе из упоминавшихся направлений, так как оно позволяет эмулировать нейронную сеть на стандартном персональном компьютере и использовать возможности обучения нейронных сетей. Важной задачей при использовании современных ИНС с прямым распространением сигналов является формирование обучающей выборки. Обучающую выборку и набор параметров для обучения ИНС формирует исследователь. При этом в некоторых случаях исследователь руководствуется мнением экспертов. Тем самым нейронная сеть становится способной «работать как эксперт» без необходимости выявления или моделирования причинно-следственной связи факт-вывод.

Начиная с 70-х гг. прошлого столетия искусственные нейронные сети стали применяться в задачах петрографии, как средство анализа каротажных данных, в литологии, оценке минерально-сырьевой базы, сейсмическом зондировании [15] и т. п. [16-25]. Применение нейронных сетей к решению практических задач интерпретации каротажных данных в области нефтедобычи посвящена работа [26].

2. Методы машинного обучения

Методы машинного обучения рассматриваются во многих изданиях, например, в [4, 8, 27, 28]. По существу это направление призвано решать центральную задачу интеллектуальной системы, предваряющую все остальные действия, — оценку текущего объекта (ситуации).

С конца прошлого столетия методы машинного обучения используются в задачах петрографии и литологии как средство анализа каротажных данных. Разумеется, области приложений машинного обучения гораздо шире. Они включают медицину [28-30], биологию [31], робототехнику, городское хозяйство и промышлен-

ность [33], сферу обслуживания, экологию [33], системы связи нового типа [34], астрономию [35] и т. д. Машинное обучение (МО) — как дисциплина, являющаяся частью обширного направления, именуемого Искусственный Интеллект (ИИ), по существу, реализует потенциал заложенный в идее ИИ. Основное ожидание, связанное с МО, заключается в реализации потребности в гибких, адаптивных, обучаемых алгоритмах или методах вычислений1.

В результате обеспечиваются новые функции систем и программ.

Возможности МО, т. е. способность обучаться и обеспечивать рекомендации на уровне экспертов в узкой предметной области, обеспечивают алгоритмы, которые делятся на две большие группы:

- обучение без учителя (unsupervised learning) (UL);

- обучение с учителем (supervised learning) (SL).

Кроме этого, иногда выделяют:

- обучение с подкреплением (reinforcement learning) [36] (RL);

- полууправляемое обучение (semi-supervised learning) [37] (SSL).

Главная задача, решаемая алгоритмами машинного обучения, заключается в

отнесении наблюдаемого объекта к тому или другому классу для принятия последующего решения автоматически или человеком. Такие задачи распространены очень широко. В качестве примера можно указать на задачи, возникающие в процессе движения мобильного автономного робота и связанные с распознаванием образов предстоящего пути; задачи распознавания лиц, мимики, эмоций; анализ действия пользователя при получении услуг в системах электронной коммерции, который позволяет проводить как оптимизацию интерфейса, так и планировать действия системы. В целом, это анализ данных в различных информационных системах, позволяющий выполнять предсказания состояний или классификацию объектов. Различаются способы решения указанной задачи.

Методы UL решают задачу кластеризации, когда множество заранее не обозначенных объектов разбивается на группы путем автоматической процедуры исходя из свойств этих объектов. При этом количество групп (кластеров) может быть заранее задано или формироваться автоматически. К числу таких алгоритмов относятся теория адаптивного резонанса (adaptive resonance theory — ART) и самоорганизующиеся карты (self-organizing map — SOM) или карты Кохонена [38], а также обширная группа алгоритмов кластеризации ( k-means, mixture models, hierarchical clustering и др.) [39, 40].

SL решают задачу классификации, когда в потенциально бесконечном множестве объектов выделяются конечные группы некоторым образом обозначенных

1Метод вычислений — термин, введенный Кнутом для отделения строго обоснованных алгоритмов от подчас эмпирических методов, обоснованность которых часто подтверждается практикой.

объектов. Обычно формирование групп выполняется экспертом. При этом эксперт может объяснять, а может и не объяснять, по каким причинам он выполнил первоначальную классификацию.

Алгоритм классификации должен, используя эту первоначальную классификацию как образец, отнести следующие необозначенные объекты к той или иной организованной экспертом группе исходя из свойств этих объектов. SL включают большой набор алгоритмов или семейств алгоритмов, которые часто разделяются на линейные и нелинейные классификаторы, в зависимости от формы (гиперплоскости или гиперповерхности) разделяющие классы объектов. В двумерном случае линейные классификаторы разделяют классы единственной прямой, тогда как нелинейные классификаторы — линией (рис. 1).

Рисунок 1. Линейный (а) и нелинейный (b) классификаторы

Подходы к классификации алгоритмов МО представлены, в частности, в работах [41, 42].

На рис. 2 представлена таксономия алгоритмов МО в виде иерархической структуры, не претендующая, разумеется, на исчерпывающую полноту. Каждый из перечисленных алгоритмов, по существу, образует некоторое семейство, модифицируемых под те или иные потребности программ и алгоритмов, часто различающихся вычислительной сложностью, сложностью реализации и автоматизации процесса обучения, способностью классифицировать только два типа (binary classification) или сразу несколько типов объектов.

- Обучение без учителя (unsupervised learning) (UL)

o ART

■ ART1

■ ART2

■ ART3 o SOM

■ Generative Topographic Map (GTM) o Cluster algorithms

■ k-means

• K-Means++

• K-Medoids

• Fuzzy C-Means Clustering Algorithm (FCM)

• Soft K-Means Clustering Algorithm (SKM)

• K-Harmonic Means Clustering Algorithm (KHM)

• Kernel K-Means Clustering Algorithm (KKM)

■ Spectral Clustering Algorithm (SCA)

■ Density models (DM)

■ Subspace models:

• mixture models (MM),

• hierarchical clustering (HC)

- Обучение с учителем (supervised learning) (SL)

o Linear Classifiers

■ Linear Discriminant Analysis Classifier (LDA)

■ Logical regression (LR)

■ Naive bayes Classifier (NBC)

■ Perceptron (P) o Non-linear Classifiers

■ Quadratic Classifier (QC)

■ Diagonal Linear Discriminant Analysis (DLDA)

■ Support Vector Classification (SVM) (Linear SVM и Nonlinear SVM)

■ Logistic regression (LogR)

■ k-Nearest-Neighbor (k-NN)

■ Decision Tree (DT)

• Random Forest (RF)

■ Neural Networks (NN)

• Bayesian Networks (BN)

- Обучение с подкреплением (reinforcement learning) (RL)

o Q-Learning

■ Deterministic Q-Learning (DQL) o Monte-Carlo Methods (MCM)

o Temporal Difference Methods (TDM) o Sarsa

- Полууправляемое обучение (semi-supervised learning) (SSL)

Рисунок 2. Таксономия алгоритмов машинного обучения

3. Показатели оценки точности классификации методами машинного обучения

Рассмотрим показатели оценки качества классификации в задачах машинного обучения.

Точность (accuracy) — относительное количество корректно классифицированных примеров (процент правильно классифицированных примеров):

Ac = N,

N

где N — количество корректно классифицированных примеров; N — общее число объектов. Этот показатель является весьма важным, однако если количество объектов в классах существенно неравное, так называемые неравномерные или «перекошенные» классы (skewed classes), то может случиться так, что очень плохой классификатор будет давать большое значение Лс. Например, если объектов 1-го типа 90% от всего числа объектов, а объектов второго типа только 10%, то классификатору достаточно отвечать всегда, что он распознал объект 1 -го типа и точность достигнет 90%. Таким образом, даже если алгоритм никогда правильно не распознает объект класса 2, он все равно будет иметь высокий показатель Лс. При этом если распознавание объектов 2-го класса исключительно важно, показатель Лс будет попросту вводить в заблуждение.

Для того чтобы избежать подобной неадекватной оценки, рассматриваются еще несколько важных показателей: «аккуратность» (precision), «отзыв» (recall) и обобщающий показатель — T1Score, которые рассчитываются с помощью следующих выражений:

T

Precision: P = -

p

Recall: R = ■

(Tp + Fp У Tp

(Tp + Fn)

2PR

Обобщающй показатель: TlScore = -

(P+R)

Поясним приведенные выражения.

Рассмотрим случай классификации двух классов (или одного класса номер 1 и всех остальных классов, которым присвоим номер 0). В этом случае возможны следующие ситуации (табл. 1).

Таблица 1. Случай классификации двух классов

Реальный класс (Actual class)

1 0

Предсказанный класс 1 True positive False positive

(Predicted class) 0 False negative True negative

Случаи True positive (Tp) и True negative (Tn) являются случаями правильной работы классификатора, соответственно, False negative (Fn) и False positive (Fp) случаями неправильной работы. При этом Fn можно рассматривать как признак излишне пессимистического (осторожного) классификатора, Fp — наоборот, как признак излишне оптимистического или неосторожного классификатора. Тогда

Precision: P = ■

T

T + F )

будет показывать часть правильно распознанных объектов заданного класса по отношению к общему числу объектов, принятых классификатором за объекты заданного класса. С другой стороны,

Recall: R = ■

T

(Tp + Fn)

будет показывать отношение правильно распознанных объектов к общему числу объектов данного класса.

Оба показателя P и R показывают «путаницу» классификатора. Однако P показывает насколько классификатор оптимистичен в своих оценках или как часто он «любит» (низкое значение P) присоединять объекты других классов к заданному. В то время как R, показывает насколько классификатор «пессимистичен» в своих оценках, т. е. как часто он «отбрасывает» (низкое значение R) объекты нужного класса.

Разумеется, желательно, чтобы оба этих показателя стремились к 1. Для некоторой «усредненной» оценки применяют

Tl Score = ^PR ,

(P + R)

который, как видно из формулы, также стремиться к 1, если оба показателя P и R близки к 1.

Отметим, что использование простого усреднения Average = (P + R)/2 может привести к тому, что мы получим неверное представление о свойствах алгоритма. Например, пусть имеется три алгоритма, показывающие следующие оценки Precision и Recall (табл. 2).

Таблица 2. Пример исследования алгоритмов

Precision (P) Recall (R) Average T1 Score

Algorithm 1 0.55 0.44 0.495 0.4888889

Algorithm 2 0.71 0.12 0.415 0.2053012

Algorithm 3 0.03 1 0.515 0.0582524

Видно, что простое среднее (колонка Average) дает высшую оценку совершенно негодному алгоритму 3, который практически все объекты ошибочно принимает за искомый (P очень мало). В то же время T1Score показывает более корректный результат, отдавая высший балл алгоритму 1, который показывает близкие оценки Precision и Recall и, следовательно, более взвешен в своих оценках.

Показатель Kappa более робастный по сравнению с показателем точности, который представляет собой просто процентное отношение правильно распознанных объектов к общему числу объектов. Впервые предложен Кохеном для сравнения рейтингов людей в дихотомических (бинарных) задачах классификации [43]. В настоящее время активно используется в известных паркетах программ [44]. Рассчитывается следующим образом.

Пусть имеется матрица ошибок (error matrix/confusion matrix), в которой на главной диагонали расположены правильные ответы, а цифры вне главной диагонали представляют собой ошибочные результаты, причем n — количество объектов, классифицированных экспертом как объект класса j, а системой как объект класса i. Также можно определить количество объектов, классифицированных как объекты класса i:

n =Σ n,

j

количество объектов классифицированных как объекты класса j:

nJ =Σ inJ ■

i

Используя матрицу ошибок (error matrix/confusion matrix) N = ntj, статистический показатель Kappa определяется следующим выражением

- Pe

K = ■

1 - Pe

где P — процент корректно классифицированных объектов при изменении:

1 ^

P = —7 Σ nn..

Fe ni Σ ' '

При этом

1 k

Oc =— Σn ,

Zl Π >

где Т можно интерпретировать, как общее количество объектов, а сумма определяет количество корректно распознанных объектов (сумма цифр на главной диагонали матрицы ошибок).

4. «Обучаемость» алгоритмов

Оценка алгоритмов распознавания путем сравнения accuracy (точности) или иного показателя качества (Kappa, Precision, Recall) обладает тем недостатком, что не дает возможности оценить алгоритмы в динамике изменения объема обучающей выборки. В частности, если говорить о нейронных сетях, то на показатели точности существенно влияет количество скрытых слоев и количество тренировочных примеров, при использовании линейной регрессии, ее порядок, для (k — NN) — радиус окружности ближайших соседей и т. п. При этом важно учесть способность алгоритма обучаться, переобучаться (overfitting) или недообучаться (underfit). Правильный баланс между underfit и overfit означает поиск такого алгоритма и его параметров, который был бы способен показать приемлемые результаты как на обучающем, так и на тестовом множестве (или множестве cross validation). Недообученный алгоритм будет показывать одинаково плохие результаты и на тестовом, и на обучающем множествах, в то время как переобученный будет демонстрировать высокий результат на обучающем множестве и низкий на тестовом. Представим для случая регрессии соответствующие формулы кривых, экстраполирующих распределение тренировочных примеров так, как показано ниже:

A. High bias (underfit): Θ0 + Q1 χ.

B. Just right: Θ0 + Θx + Θx 2

C. High variance (overfit): Θ0 + Θ1x + Θχ2 + Θ X + Θχ4·

Результаты экстраполяции при некотором гипотетическом распределении объектов тренировочного множества показаны на рис. 3.

При этом показатели ошибки («стоимость ошибки») на тренировочном (train) и тестовом множестве (cross validation — cv) определяют по идентичным формулам (меняется лишь набор примеров):

1 m

Jrrn (θ)=^ У (he (χ(1 >)—У > );

1 mcv 1

Jv (θ)=^ Σ (he (xcv')—yi')

cv *=1

где m — тренировочное множество примеров; mcv — тестовое множество примеров (cross validation — cv); he — функция гипотезы, которая может быть линейной

йе = θ0 + θ1χ или не линейной, например, Λθ = θ + θx + θX c различным набором параметров θ е Θ.

разделитель (недотрениро- переменных (перетрениро-

ванность) ванность)

Рисунок 3. Иллюстрация недотренированности и перетренированности алгоритма МО

Параметры модели, определяющие функцию ^Θ), рассчитываются с помощью тренировочного множества, а проверяются с помощью примеров из тестового множества.

Можно сказать, что для компенсации излишних переменных в случае переобучения в регрессионной модели применяют регуляризацию, добиваясь, чтобы переменные с более высоким показателем степени оказывали меньшее влияние. Формула оценки стоимости с учетом регуляризации следующая:

Im η

J (θ)=f- Σ (he (x(i у)—y(i ] )2+λΣ θ2,

2m i=l j=l

где λ — параметр регуляризации.

В случае использования нейронной сети роль аналогичную регуляризации выполняет уменьшение числа скрытых слоев нейронной сети.

Использование регуляризации или уменьшение числа скрытых слоев увеличивает способности обобщения алгоритма машинного обучения и, соответственно, снижает способность к обучению, в смысле гибкости настройки на тонкие различия между классами.

Отметим, что системы машинного обучения можно разделить на более линейные (high bias), которые обладают сравнительно малой способностью к формированию сложных интерполяционных кривых, и системы с высокой вариативностью (high variance), которые способны формировать кривые (поверхности, гиперповерхности) сложной формы. Поведение этих алгоритмов (моделей) различается при

увеличении числа тренировочных примеров. Первые, как правило, обобщают результаты, часто не учитывая некоторых, возможно существенных, различий между обучающими примерами. Вторые, напротив, «отслеживают» все ньюансы, возможно случайные, но, в то же время, недостаточно обобщают. Для первых характерна недотренированность, в то время как для вторых перетренированность (рис.2.5.) Оценить способности модели при однократном эксперименте, как правило, невозможно, поскольку и первые, и вторые могут давать близкие показатели ошибок.

В связи с этим обучаемость алгоритмов МО оценивают с помощью так называемых кривых обучения (learning curves), которые строят, рассчитывая показатели ошибок при постепенно увеличивающемся числе обучающих примеров. Построив кривые ошибок на тестовом и обучающем множествах, оценивают алгоритм с помощью следующих эмпирических закономерностей:

- в нормальной ситуации, при хорошем алгоритме, при увеличении числа тренировочных примеров ошибка на тренировочном множестве немного возрастает, а ошибка на тестовом множестве снижается (рис. 4a);

- если система сравнительно линейна (high bias), увеличение числа обучающих примеров принесет мало пользы. Ошибка и на тренировочном, и на тестовом множествах будет примерно одинаковой и большой (рис. 4b);

- если система с высокой вариативностью (high variance), увеличение числа обучающих примеров приведет к снижению величины ошибки на тестовом множестве, однако будет существенно отличаться от ошибки на тренировочном множестве (рис. 4c). Для еще большего снижения ошибки на тестовом множестве можно значительно увеличить тренировочное множество (что не всегда возможно).

Jcv (θ)

Jlm(B)

m (training set size)

a — нормальная ситуация, обучаемый алгоритм с хорошей способностью к обобщению

Jv (θ)

J,r.M)

m (training set size)

b — трудно обучаемый алгоритм, система слишком линейна (high bias)

V.

Jv (θ)

Jtrain (θ)

m (training set size)

с — алгоритм с высокой вариативностью (high variance)

Рисунок 4. Кривые обучения (learning curves)

Error

Таким образом, для того чтобы оценить, к какой из двух групп принадлежит исследуемый алгоритм (слишком линейный или слишком гибкий) рекомендуется исследовать кривую ошибок обучения при увеличении размера обучающего множества. Например, если кривые показывают сходимость, но при этом высокий уровень ошибок, то это может свидетельствовать о линейности модели (невозможности ее обучить).

При обнаружении нежелательных свойств алгоритма можно попытаться настроить его, изменить объем обучающего множества примеров или выбрать дополнительные свойства объектов, учитывая следующее:

- увеличение размера тренировочного множества полезно при высокой вариативности алгоритма (много слоев нейронной сети, высокий порядок регрессии), когда программа не обладает нужной степенью обобщения, а настраивается в большой мере на тренировочный набор примеров и не может нормально классифицировать примеры из тестового множества (ошибка переобучения);

- сокращение числа используемых свойств или параметров полезно при высокой вариативности алгоритма (много слоев нейронной сети, высокий порядок регрессии), т. е. вновь в тех случаях, когда присутствует переобучение, но в то же время количество обучающих примеров невозможно существенно увеличить;

- использование дополнительный свойств полезно при слишком линейных алгоритмах (низкий порядок регрессии, мало нейронов в скрытых слоях сети или мало скрытых слоев), когда программа и на тестовом, и на тренировочном наборе будет показывать одинаково плохие результаты (ошибка недообученности);

- использование специальных синтезированных (полиномиальных) свойств, представляющих более высокие степени и произведения от основных (X12, x^, X1, x2, ...), также полезно при слишком линейных алгоритмах (низкий порядок регрессии, мало слоев нейронной сети) (недообученная модель).

5. Заключение

Сфера искусственного интеллекта (Artificial Intelligence — AI) весьма обширна и включает в себя множество направлений, начиная от логических рассуждений и заканчивая методами оценки тональности текстов. Традиционно выделяют так называемый сильный искусственный интеллект (Strong AI) и слабый искусственный интеллект (Weak AI). Первый ориентирован на создание систем, выполняю-

щих высокоинтеллектуальные задачи, присущие человеку, в конечном счете, на создание мыслящих машин. Слабый ИИ (WAI) ориентирован на создание приложений, в которых реализуется та или иная интеллектуальная способность человека или животных. Потенциал, заложенный в идее WAI, реализуется с помощью машинного обучения.

В работе предложена таксономия методов МО. Описаны показатели оценки точности классификации (accuracy, «аккуратность» (Precision), «отзыв» (Recall) и обобщающие показатели — TlScore, Kappa). Дано понятие обучаемости методов машинного обучения и описано использование его на практике (способы интерпретации кривой обучения) для выбора подходящего метода или его настройки.

Развитие методов машинного обучения идет вместе с их практическим использованием, в результате чего увеличивается количество приложений, появляются специальные методы для решения прикладных задач, развиваются методы коми-тетного синтеза, предлагаются платформы и языки, в том числе декларативного типа, призванные упростить использование методов в прикладных задачах. Отдельным важным направлением является использование методов МО в обработке больших данных.

Литература

[1] Srinivasa N., Cruz-Albrecht J. M. Systems of Neuromorphic Adaptive Plastic Scalable Electronics // IEEE Engineering in Medicine and Biology Society. 2014. Vol. 3. No. l. P. 51-56.

[2] Блейксли С., Хокинс Дж. Об интеллекте. — М.; СПб.; Киев : Изд. дом «Вильямс», 2007.

[3] Weiss G. Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence. — Cambridge: MIT Press, 1999.

[4] Russell S., Norvig P. Artificial Intelligence: A modern approach. — New Jersey: Upper Saddle River, 20l0.

[5] Городецкий В. И. Самоорганизация и многоагентные системы. I. Модели многоагентной самоорганизации // Известия РАН. Теория и системы управления. 2012. № 2. C. 92-120.

[6] Городецкий В. И. Самоорганизация и многоагентные системы. II. Приложения и технологии разработки // Известия РАН. Теория и системы управления. 2012. № 3. C. 55-75.

[7] Machine learning [Электронный ресурс] Wikipedia http://en.wikipedia.org/wiki/ Machine learning

[8] Tim Jones M. Artificial Intelligence: A Systems Approach — Hingham, Massachusetts, New Delhi : Infinity Sci. press LLC, 2008.

[9] Кохонен Т. Ассоциативная память. — М. : Мир, 1980.

[10] Нейрокомпьютеры: учеб. пособие для вузов. — М. : МГТУ им. Н. Э. Баумана, 2004.

[11] Minsky M. L., Papert S. A. Perceptrons. An Introduction to Computational Geometry. — MIT, l969.

[12] Python for artificial Intelligence [Электронный ресурс] https://wiki.python.org.

[13] Weka. The University of Waikato [Электронный ресурс] http://www.cs.waikato.ac.nz/ml/ weka

[14] Van der Baan M., Jutten C. Neural networks in geophysical applications // Geophysics. 2000. Vol. 65. No. 4. P. 1032-1047.

[15] Baldwin J. L., Bateman R. M., Wheatley C. L. Application of a neural network to the problem of mineral identification from well logs // The Log Analyst. 1990. Vol. 3l. No. 5. P. 279-293.

[16] Benaouda B., Wadge G., Whitmark R. B., Rothwell R. G., MacLeod C. Inferring the lithology of borehole rocks by applying neural network classifiers to downhole logs — an example from the Ocean Drilling Program // Geophysical Journal International. 1999. Vol. 36. No. 2. P. 477- 49l.

[17] Saggaf M. M., Nebrija Ed. L. Estimation of missing logs by regularized neural networks // AAPGBulletin. 2003. No. 8. P. 1377-1389.

[18] Тененев В. А., Якимович Б. А., Сенилов М. А., Паклин Н. Б. Интеллектуальные системы интерпретации геофизических исследований скважин // Штучний ттелект. 2002. № 3.

[19] Yelbig K., Treitel S. Computational Neural Networks For Geophysical Data Processing / Eds. Poulton M. M. Vol. 30. — PERGAMOV, 200l.

[20] Borsaru M., Zhou B., Aizawa T., Karashima H., Hashimoto T. Automated lithology prediction from PGNAA and other geophysical logs // Applied Radiation and Isotopes. 2006. Vol. 64. No. 2. P. 272-282.

[21] Rogers S. J., Chen H. C., Kopaska-Merkel D. C., Fang J. H. Predicting permeability from porosity using artificial neural networks // AAPG Bulletin. 1995. Vol. 79. No. 12. P. 1786-l796.

[22] Kapur L., Lake L., Sepehrnoori K., Herrick D., Kalkomey C. Facies prediction from core and log data using artificial neural network technology // SPWLA 39th Society of Professional Well Log Analysts Annual Logging Symposium, — Keystone, Colorado, 1998.

[23] Алешин С. П., Ляхов А. Л. Нейросетевая оценка минерально -сырьевой базы региона по данным геофизического мониторинг // Нов1 технолога. 20ll. № 1 (31). C. 39-43.

[24] Rogers S. J., Chen H. C., Kopaska-Merkel D. C., Fang J. H. Predicting permeability from porosity using artificial neural networks // AAPG Bulletin. 1995. Vol. 79. No. 12. P. 1786-l796.

[25] Костиков Д. В. Инструментальные средства интерпретации геофизических исследований скважин на основе преобразованных каротажных диаграмм с помощью многослойной нейронной сети: дис. ... канд. техн. наук. — М., 2007.

[26] Zhang G. P. Neural Networks for Classification: A Survey // IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews. 2000. Vol. 30. No. 4. P. 451-462.

[27] Kriesel D. A Brief Introduction to Neural Networks [Электронный ресурс] http://www.dkriesel.com/en/science/neural networks

[28] Cruz J. A., Wishart D. S. Wishart Applications of Machine Learning in Cancer Prediction and Prognosis // Cancer Informatics. 2006. Vol. 2. P. 59-77.

[29] Shoeb A. H., Guttag J. V. Application of machine learning to epileptic seizure detection // Proceedings of the 27th International Conference on Machine Learning. 2010. P. 975-982.

[30] Andrea M., Sabatini A. M. Machine learning methods for classifying human physical activity from on-body accelerometers // Sensors. 2010. Vol. 10. № 2. P. ll54-ll75.

[31] Ballester P. J., Mitchell J. B. O. A machine learning approach to predicting protein-ligand binding affinity with applications to molecular docking // Bioinformatics. 2010. Vol. 26. No. 9. P. ll69-ll75.

[32] Farrar C. R., Worden K. Structural health monitoring: a machine learning perspective. — John Wiley & Sons, 2012.

[33] Recknagel F. Application Of macine Learning To Ecological Modelling // Ecological Modelling. 200l. Vol. 146. No. l. P. 303-310.

[34] Clancy C., Hecker J., Stuntebeck E., Shea T. O. Applications of machine learning to cognitive radio networks // IEEE Wireless Communications. 2007. Vol. l4. No. 4. P. 47-52.

[35] Ball N. M., Brunner R. J. Data mining and machine learning in astronomy // International Journal of Modern Physics D. 2010. Vol. 19. No. 7. P. l049-ll06.

[36] Szepesv'ari C. Algorithms for Reinforcement Learning. Synthesis Lectures on Artificial Intelligence and Machine. — Learning series by Morgan & Claypool Publishers, 2009.

[37] Zhu X. Semi-Supervised Learning Literature Survey // Comp. Sci. Tech. Rep. 1530. — University of Wisconsin-Madison, 2008.

[38] Kohonen T. Self-Organized Formation of Topologically Correct Feature Maps // Biological Cybernetics. 1982. Vol. 43. No. l. P. 59-69.

[39] Jain A. K., Murty M. N., Flynn P. J. Data Clustering: A Review // ACM Computing Surveys. 1999. Vol. 31. №. 3. P. 264-323.

[40] Barbakh W. A., Wu Y., Fyfe C. Review of Clustering Algorithms // Non-Standard Parameter Adaptation for Exploratory Data Analysis. Studies in Computational Intelligence. 2009. Vol. 249. P. 7-28.

[41] Ayodele T. O. Types of Machine Learning Algorithms. New Advances in Machine Learning. — INTECH Open Access Pub., 2010. P. 19-48.

[42] Ibrahim H. A. H., Nor S. M., Mohammed A., Mohammed, A. B. Taxonomy of Machine Learning Algorithms to classify realtime Interactive applications // International Journal of Computer Networks and Wireless Communications. 2012. Vol. 2. No. 1. P. 69-73.

[43] Cohen J. A coefficient of agreement for nominal scales // Educational and Psychological Measurement. 1960. Vol. 20. No. 1. P. 37-46.

[44] RapidMiner and RapidAnalytics [Электронный ресурс] http://www.rapid-i.com

Авторы:

Равиль Ильгизович Мухамедиев — доктор инженерных наук, профессор, главный научный сотрудник Института информационных и вычислительных технологий (Республика Казахстан, Алматы), профессор кафедры естественных наук и компьютерных технологий Университета ИСМА (Рига, Латвия)

Елена Леонидовна Мухамедиева — магистр по компьютерным системам, научный сотрудник Института информационных и вычислительных технологий (Республика Казахстан, Алматы)

Ян Игоревич Кучин — ведущий менеджер лаборатории ГИС ТОО "Геотехносервис", НАК «Казатомпром» (Республика Казахстан, Алматы)

Taxonomy of Machine Learning Techniques and Assessment of Qualification Quality and Learnability

Ravil I. Mukhamediev*, Jelena L. Muhamedijeva*, Yan I. Kuchin**

*Institute of Problems of Information and Control Ministry of Education and Science of the Republic of Kazakhstan 125 Pushkina, Almaty, Republic of Kazakhstan 050010

"LLC «Geotehnoservice», NAC «Kazatomprom» 156-156a Bogenbay batir, Almaty, Republic of Kazakhstan 050012

e-mail: ravil. muhamedyev@gmail. com

Abstract. This paper considers the so called intelligent techniques and, as their significant part, the domain of machine learning (ML), related to weak artificial intelligence. There is given taxonomy of ML techniques and described the criteria of qualification accuracy assessment. Considered "Learning curves" applications for assessment of ML techniques in a view of growth of the number of learning examples.

Key words: machine learning, artificial neural networks, accuracy, precision, recall, T1 Score, taxonomy, learnability.

Reference

[1] Srinivasa N., Cruz-Albrecht J. M. (2014) IEEE Engineering in Medicine and Biology Society, 3(l): 5l-56.

[2] Blejksli S., Hokins D. (2007) Ob intellekte. Moscow, SPb; Kiev, Izd. dom «Vil'jams». (In Rus)

[3] Weiss G. (l999) Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence. Cambridge, MIT Press.

[4] Russell S., Norvig P. (20l0) Artificial Intelligence: A modern approach. New Jersey, Upper Saddle River.

[5] Gorodetskii V. I. (20l2) Journal of Computer and Systems Sciences International, 5l(2):256-28l.

[6] Gorodetskii V. I. (20l2) Journal of Computer and Systems Sciences International, 5l(3): 39l-409.

[7] Machine learning http://en.wikipedia.org/wiki/ Machine learning

[8] Tim Jones M. (2008) Artificial Intelligence: A Systems Approach. Hingham, Massachusetts, New Delhi, Infinity Sci. press LLC.

[9] Kohonen T. (l980) Associativnaja pamjat'. Moscow, Mir. (In Rus)

[10] Nejrokompjutery. (2004) Moscow, MGTU im. N. E. Baumana.

[11]Minsky M. L., Papert S. A. (l969) Perceptrons. An Introduction to Computational Geometry. MIT.

[12] Python for artificial Intelligence https://wiki.python.org.

[13] Weka. The University of Waikato http://www.cs.waikato.ac.nz/ml/weka

[14] Van der Baan M., Jutten C. (2000) Geophysics, 65(4): l032-l047.

[15] Baldwin J. L., Bateman R. M., Wheatley C. L. (l990) The Log Analyst, 3l(5):279-293.

[16] Benaouda B., Wadge G., Whitmark R. B., Rothwell R. G., MacLeod C. (l999) Geophysical Journal International, 36(2): 477-49l.

[17] Saggaf M. M., Nebrija Ed. L. (2003) AAPG Bulletin, 8:l377-l389.

[18] Tenenjov V. A., Jakimovich B. A., SenilovM. A., Paklin N. B. (2002) Shtuchnij intelekt, 3

[19] Yelbig K., Treitel S. (200l) Computational Neural Networks For Geophysical Data Processing. Poulton M. M. (Eds.), vol. 30.

[20] Borsaru M., Zhou B., Aizawa T., Karashima H., Hashimoto T. (2006) Applied Radiation and Isotopes, 64(2): 272-282.

[21]Rogers S. J., Chen H. C., Kopaska-Merkel D. C., Fang J. H. (l995) AAPG Bulletin, 79(l2): l786-l796.

[22] Kapur L., Lake L., Sepehrnoori K., Herrick D., Kalkomey C. (l998) Facies prediction from core and log data using artificial neural network technology. SPWLA 39th Society of Professional Well Log Analysts Annual Logging Symposium, Keystone, Colorado.

[23]Aljoshin S. P., LjahovA. L. (20ll) Novi tehnologii, 3l: 39-43. (In Rus)

[24] Rogers S. J., Chen H. C., Kopaska-Merkel D. C., Fang J. H. (l995) AAPG Bulletin, 79(l2): l786-l796.

[25] Kostikov D. V. (2007) Instrumental'nye sredstva interpretacii geofizicheskih issledova-nij skvazhin na osnove preobrazovannyh karotazhnyh diagramm s pomoshh'ju mnogoslojnoj nejronnoj seti. Dis. cand. tehn. nauk. Moscow.

[26] Zhang G. P. (2000) IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 30(4): 45l-462.

[27] Kriesel D. A Brief Introduction to Neural Networks http://www.dkriesel.com/en/science/ neural networks

[28] Cruz J. A., Wishart D. S. (2006) Cancer Informatics, 2:59-77.

[29] Shoeb A. H., Guttag J. V. (20l0) Application of machine learning to epileptic seizure detection. Proceedings of the 27th International Conference on Machine Learning, pp. 975-982.

[30]AndreaM., Sabatini A. M. (20l0) Sensors, l0(2):ll54-ll75.

[31] Ballester P. J., Mitchell J. B. O. (20l0) Bioinformatics,, 26(9):ll69-ll75.

[32] Farrar C. R., Worden K. (2012) Structural health monitoring: a machine learning perspective. John Wiley & Sons.

[33] Recknagel F. (2001) Ecological Modelling, 146(1):303-310.

[34] Clancy C., Hecker J., Stuntebeck E., Shea T. O. (2007) IEEE Wireless Communications, 14(4): 47-52.

[35] Ball N. M., Brunner R. J. (2010) International Journal of Modern Physics D, 19(7): 10491106.

[36] Szepesv'ari C. (2009) Algorithms for Reinforcement Learning. Synthesis Lectures on Artificial Intelligence and Machine. Learning series by Morgan & Claypool Publishers.

[37] Zhu X. (2008) Semi-Supervised Learning Literature Survey. Tech. Rep. 1530. University of Wisconsin-Madison.

[38] Kohonen T. (1982) Biological Cybernetics, 43(1):59-69.

[39] Jain A. K., Murty M. N., Flynn P. J. (1999) ACM Computing Surveys, 31(3):264-323.

[40] Barbakh W. A., Wu Y., Fyfe C. (2009) Studies in Computational Intelligence, 249:7-28.

[41] Ayodele T. O. (2010) Types of Machine Learning Algorithms. New Advances in Machine Learning. INTECH Open Access Pub., pp. 19-48.

[42] Ibrahim H. A. H., Nor S. M., Mohammed A., Mohammed A. B. (2012) International Journal of Computer Networks and Wireless Communications, 2(1):69-73.

[43] Cohen J. (1960) Educational and Psychological Measurement, 20(1):37-46.

[44] RapidMiner and RapidAnalytics http://www.rapid-i.com