Научная статья на тему 'Применение теории линейных неравенств в задачах машинного обучения'

Применение теории линейных неравенств в задачах машинного обучения Текст научной статьи по специальности «Математика»

CC BY
10
0
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
машинное обучение / линейные неравенства / максимально совместные подсистемы / математическое программирование / классификация / медицинская диагностика / machine learning / linear inequalities / maximally consistent subsystems / mathematical programming / classification / medical diagnostics

Аннотация научной статьи по математике, автор научной работы — Чернавин Павел Федорович, Чернавин Николай Павлович, Чернавин Федор Павлович

По мнению авторов, результаты теории линейных неравенств надо более широко использовать в задачах машинного обучения (МО). Для исключения избыточных неравенств при построении ансамблей на основе линейных разделителей следует использовать теоремы о зависимых неравенствах следствиях. Для обобщения результатов различных исследований следует использовать модели поиска максимально совместных подсистем. Понятие “максимально совместные подсистемы” следует расширить и распространить его на комитеты единогласия. Для решения задач классификации можно эффективно использовать метод выпуклых оболочек, а для определения экстремальных точек выпуклых оболочек – использовать результаты из теории альтернативных систем. В статье приведены необходимые для этого сведения из теории линейных неравенств, математические модели на их основе и листинг программ для компьютерной реализации математических моделей.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Чернавин Павел Федорович, Чернавин Николай Павлович, Чернавин Федор Павлович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Application of the theory of linear inequalities in machine learning problems

According to the authors, the results of the theory of linear inequalities should be more widely used in machine learning problems. To eliminate redundant inequalities when constructing ensembles based on linear separators, one should use theorems on dependent inequalities and consequences. To generalize the results of various studies, search models for the most compatible subsystems should be used. The concept of maximally collaborative subsystems should be expanded to include unanimity committees. To solve classification problems, one can effectively use the method of convex hulls, and to determine the extreme points of convex hulls, use the results from the theory of alternative systems. The article provides the information necessary for this from the theory of linear inequalities, mathematical models based on them and a listing of programs for the computer implementation of mathematical models.

Текст научной работы на тему «Применение теории линейных неравенств в задачах машинного обучения»

УДК 004.855.5

DOI:10.25729/ESI.2023.32.4.002

Применение теории линейных неравенств в задачах машинного обучения

Чернавин Павел Федорович, Чернавин Николай Павлович, Чернавин Федор Павлович

Уральский федеральный университет, Россия, Екатеринбург, p.f.chernavin@urfu.ru

Аннотация. По мнению авторов, результаты теории линейных неравенств надо более широко использовать в задачах машинного обучения (МО). Для исключения избыточных неравенств при построении ансамблей на основе линейных разделителей следует использовать теоремы о зависимых неравенствах следствиях. Для обобщения результатов различных исследований следует использовать модели поиска максимально совместных подсистем. Понятие "максимально совместные подсистемы" следует расширить и распространить его на комитеты единогласия. Для решения задач классификации можно эффективно использовать метод выпуклых оболочек, а для определения экстремальных точек выпуклых оболочек - использовать результаты из теории альтернативных систем. В статье приведены необходимые для этого сведения из теории линейных неравенств, математические модели на их основе и листинг программ для компьютерной реализации математических моделей.

Ключевые слова: машинное обучение, линейные неравенства, максимально совместные подсистемы, математическое программирование, классификация, медицинская диагностика

Цитирование: Чернавин П.Ф. Применение теории линейных неравенств в задачах машинного обучения П.Ф. Чернавин, Н.П. Чернавин, Ф.П. Чернавин // Информационные и математические технологии в науке и управлении. - 2023. - № 4(32). - С. 21-29. - DOI: 10.25729/ESI.2023.32.4.002.

Введение. Развитием теории линейных неравенств занимались многие известные математики: Минковский Г., Фаркаш Б., Черников C.H. [1], Еремин И. И. [2]. Ряд методов машинного обучения (МО) был создан на основе этой теории. Например, решаюшее правило (РП) метода линейного разделения множеств - это обычное линейное неравенство, а суть РП состоит в том, что объекты разных классов находятся по разные стороны разделяющей гиперплоскости, и если в уравнение гиперплоскости подставить входные параметры объекта наблюдения, то для объектов одного класса значение выходного параметра будет строго больше нуля, а для другого меньше или равно. Данное РП хорошо воспринимается практическими специалистами и имеет хорошо понимаемую геометрическую интерпретацию, от которой в большинстве случаев легко перейти к содержательной интерпретации и практическим рекомендациям.

Если на основе одного неравенства не удается построить РП с желаемыми качественными показателями (Accuracy, Precision, AUC ROC и т.п), то обычно на основе нескольких неравенств удается создать ансамбль, удовлетворяющий этим показателям. Мы предпочитаем использовать синонимы слова "ансамбль" - комитет или комитетные конструкции, так как, на наш взгляд, это название более точно отражает логику такого подхода к решению задач классификации. Комитеты могут иметь различную логику и поэтому в зависимости от нее имеют названия: комитет единогласия (КЕ), комитет большинства (КБ) и комитет старшинства (КС). Наиболее полное развитие метод комитетов получил в научной школе Мазурова В. Д. [3, 4]. В рамках этой школы доказано, что КБ и КС существуют всегда, поэтому этими комитетами теоретически можно решить любую задачу классификации. В данном случае мы просто хотим сказать, что этот подход является универсальным, но не единственным, и качество РП на его основе, конечно, всегда нужно сравнивать с качественными характеристиками РП на основе других методов МО.

Все комитетные конструкции имеют хорошую и понятную геометрическую интерпретацию. Различные виды графических изображений комитетных конструкций и практическое применение метода комитетов мы приводим в [5, 6]. Отметим также, что множества можно разделять и нелинейными функциями (желательно сепарабельными), так

как за счет перехода в другое пространство признаков разделение множеств можно свести к разделению линейными функциями [5].

Тем не менее, после всего сказанного, мы хотим добавить, что, на наш взгляд, многие достижения теории линейных неравенств слабо используются в задачах исследования операций и МО, или не используются совсем. В первую очередь это касается анализа полученных РП и выдачи рекомендаций на их основе. В большинстве случаев, для выдачи практических рекомендаций требуется решить другие задачи на основе полученных РП. Такие задачи методологически более правильно относить к задачам исследования операций, и в их решении теория линейных неравенств может быть хорошим помощником. В данной статье мы будем ссылаться в основном на примеры из медицинской диагностики так как они содержательно наиболее воспринимаемы. При этом отметим, что аналогичным образом мы решали задачи и в других предметных областях (металлургия, анализ финансовых рынков, банковский скоринг).

1. Модель поиска неравенств следствий. Проверку неравенства на следствие системы неравенств будем делать, исходя из теоремы Минковского-Фаркаша в изложении Черникова и Еремина [1,2]. В наиболее воспринимаемой форме данная теорема, на наш взгляд, изложена в монографии Зоркальцева В.И. [6]. Линейное неравенство

Стх > й (1)

назовем следствием системы линейных неравенств

Лх > Ъ , (2)

если любой вектор х е йп, удовлетворяющий системе (2), удовлетворяет условию (1) Пусть система (2) совместна. Неравенство (1) будет следствием системы (2), если при некотором

= с, Ьти > и > 0 (3)

Геометрически данная теорема означает, что вектор градиента неравенства, проверяемого на следствие, должен быть в конусе векторов системы неравенств.

Можно сказать, что любой комитет из линейных разделителей - это просто некоторая система неравенств, связанная c определенной логикой для выработки РП. Рассмотрим ситуацию, довольно часто встречающуюся в медицинской диагностике. Для конкретной нозологии построено решающее правило в виде КС. В большинстве случаев это означает, что множество наблюдений разбивается на несколько областей, так, что в одних сконцентрированы здоровые, а в других больные. Несмотря на то, что в большинстве такого рода задач рассматривается количество входных признаков значительно более двух, без потери общности, графические пояснения мы можем дать только на плоскости. Графическая интерпретация данной ситуации приведена на рисунке 1.

На данном рисунке голубые точки соответствуют здоровым, а красные больным. Из рисунка следует, что наблюдения, соответствующие здоровым, сконцентрированы в двух не пересекающихся областях. Для выдачи конкретных рекомендаций требуется определить, какими неравенствами ограничена каждая из областей. Из приведенного рисунка видно, что любое решение системы неравенств 1, 2, 3 будет решением и для неравенства 4, то есть данное неравенство является следствием системы 1, 2, 3 и при ее описании может быть исключено из рассмотрения. В свою очередь, неравенство 2 является следствием системы 1, 3, 4. В двухмерном пространстве, при наличии рисунка, неравенства следствия можно определить визуально. В многомерном пространстве визуально определить неравенство следствие нельзя, но это можно сделать на основе математической модели.

КС, неравенства следствия

Ф

• • • _1 в

1 ■ • • • ш Ii » • *• • • •

V-* 1 \ • • • ф • j ф • 4 • * •

• •• • • _■_ _L_i • • • • • •

t • Л х • •

\ Л \ * _i » *

<г • • Л и : • . t • ,

\ • * *

гт \.v . • • • • • • • V

О 20 40 60 SO 100 120 140 160 ISO 200

Рисунок 1. Графическая интерпретация комитета старшинства

В условиях теоремы сказано, что система должна быть совместной. С практической точки зрения это не совсем удобно, поэтому приведем математическую модель для определения неравенств следствий в пространстве любой размерности в кодах IBM ILOC CPLEX с учетом того, что система может быть и несовместной.

Листинг 1. Модель определения неравенств следствий

int n =...; //число входных признаков range i = 1..k;// индекс входного признака int m =...; //число неравенств в системе range j = 1..m;// индекс неравенства системы float A[j][i]=...; //коэффициенты системы неравенств float B[j]=...;//правые части системы неравенств float C[i]=...;// коэффициенты неравенства проверяемого на следствие

float D=...;//правая часть неравенства проверяемого на следствие /* искомые переменные */

dvar float+ u[j] ;//коэффициенты неравенств в линейной комбинации dvar float+ v[i] ;//невязка коэффициентов линейной комбинации dvar float+ w[i] ;//невязка коэффициентов линейной комбинации dvar float+ svw ;//сумма невязок коэффициентов линейной комбинации dvar float+ vd ;//запас по свободному члену неравенства следствия dvar float+ wd ;//невязка правых частей линейной комбинации правых частей

minimize svw; subject to {

forall( i in i) sum (j in 1..m) A[j][i]*u[j]==C[i]+v[i]-w[i];

svw==sum(i in i) (v[i]+w[i]);

sum (j in 1..m) B[j]*u[j]==D-wd+vd;

forall( j in j) u[j] >=0;};

Если значение целевой функции (svw) равно нулю, то градиент неравенства, проверяемого на следствие, находится в конусе градиентов системы неравенств, но следствием оно является только в случае, если vd > wd, то есть неравенство, проверяемое на следствие, не пересекает систему неравенств.

Описанная выше схема: построение комитетной конструкции, определение областей с высокой концентрацией объектов одного из классов, исключение неравенств следствий и поиск эталонных точек в выбранных областях - часто используется нами при решении практических задач в различных предметных областях и подробно изложена в [5, 7]. Например, на основе данного подхода нами были сформулированы рекомендации по подбору технологических параметров для получения высококачественного агломерата на ПАО Северсталь. Анализировались 4500 наблюдений при 43 признаках. Наилучшие результаты показал КС из пяти членов. Были выделены 2 области с высокой концентрацией высококачественного агломерата. Для этих областей были найдены эталонные точки, к которым следует стремиться для получения агломерата, соответствующего высоким качественным характеристикам.

2. Проверка совместности системы неравенств и поиск максимально совместных подсистем. В предыдущем параграфе мы рассмотрели случай анализа РП, построенного для одной нозологии. На практике часто встречаются ситуации, когда найдены РП в виде линейного разделения множеств для нескольких нозологий. В нашей практике был случай, когда анализировались 124 заболевания у 6200 женщин и 62 заболевания у 1900 мужчин. Для 17 нозологий у женщин и 14 нозологий у мужчин были найдены РП с достаточными метриками качества в одном и том же пространстве признаков в виде простого линейного разделения множеств. Генеральные выборки по мужчинам и женщинам разделялись случайным образом на обучающую и тестовую в пропорции 80/20, и делалось это для каждого заболевания. Каждое такое неравенство задавало полупространство, нахождение в котором означало, что пациент здоров. Поэтому сразу возникли задачи нахождения областей, в которых отсутствовали бы все 17 заболеваний для женщин и 14 заболеваний для мужчин. Для этих целей требовалось проверить систему найденных РП на совместность, а в случае ее несовместности найти максимально совместную подсистему (МСП) неравенств. Такие задачи достаточно просто решаются, как задачи линейного программирования (ЗЛП) с частично-булевыми переменными.

Листинг 2. Модель поиска допустимого решения системы неравенств в случае ее совместности и МСП максимальной длины в случае ее несовместности

int n =...; //число входных признаков range i = 1..k;// индекс входного признака int m =...; //число неравенств range j = 1..m;// индекс неравенства

float A[j][i]=...; //коэффициенты системы неравенств float B[j]=...;//правые части системы неравенств

int L=...;// большое число (во много раз больше максимального по абсолютной //величине B[j] и A[j][i])

/* искомые переменные */

dvar float+ x[i] ;//допустимое решение системы

dvar boolean z[j] ;//признак несоместности неравенства

minimize sum (j in j) z[j];

subject to {

forall( j in j) sum (i in i) A[j][i]*x[i]+B[j]>=-L*z[j]; };

В случае совместности системы неравенств ( sum (j in j) z[j] )=0. Если хотя бы одно z[j]=1, то система несовместна. В этом случае система из неравенств, у которых z[j]=0, будет МСП максимальной длины.

3. Проверка совместности комитетов единогласия и поиск максимально совместной подсистемы КЕ (МСПКЕ). Если РП различных нозологий представлены комитетами единогласия, то так как область допустимых решений для каждого КЕ является выпуклым множеством, а пересечение выпуклых множеств тоже является выпуклым множеством, то возникает постановка поиска максимально возможного пересечения КЕ различных нозологий. В силу громоздкости листинга программы для этого случая приведем только математическую модель, на основе которой легко создать программу в кодах IBM ILOC CPLEX преобразовав Листинг 2. Введем следующую систему обозначений: / — множество входных признаков; i — индекс входного признака i е /; Т — множество комитетов единогласия; t — индекс комитета единогласия t е Г; У — множество наблюдений; j — индекс множества наблюдений,/ е /; 4 — коэффициенты гиперплоскостей комитета; ßj — свободные члены гиперплоскостей комитета;

— булева переменная(признак непопадания в МСП); L — большое число.

Ziel 4 * Xi + В/ > L * j е A t е Г; (4)

minuter ^ (5)

Данный подход использовался нами при построении РП для прогнозирования гипертензии и гипотензии по показателям биохимии и содержанию различных микроэлементов в сыворотке крови на основе анализов 1200 женщин и 700 мужчин. Цель исследования состояла в нахождении в пространстве признаков областей, в которых отсутствуют оба этих заболевания.

4. Определение экстремальности точек выпуклого множества через альтернативные системы и задачи линейного программирования. Необходимость построения выпуклых оболочек множеств достаточно часто возникает в задачах вычислительной геометрии и при решении задач классификации [5]. Существует достаточно большое количество алгоритмов построения выпуклых оболочек (ВО) [8]. К сожалению, многие алгоритмы (Грэкхэма, Джарвиса, Эндрю, Чена и др.) позволяют находить ВО только для случая двухмерного пространства. Для реальных задач такие алгоритмы не подходят. В 1994 году P. M. Pardalos, Y. Li, W.W. Hager предложили определять экстремальность точек ВО на основе задач линейного программирования [9]. Они исходили из того, что если точка множества является внутренней, то она может быть представлена, как выпуклая линейная комбинация других точек множества. Если же точка является вершиной многогранника (в их терминологии экстремальная точка), то она не может быть представлена, как ВЛК других точек, то есть ее можно представить только через саму себя. Мы предлагаем рассмотреть различные алгоритмы определения экстремальности точек ВО с точки зрения альтернативных систем.

Для формулировки понятия "альтернативные системы" воспользуемся теоремой Фаркаша [1, 2, 6]:

либо Л*х = Ь х > 0 ; либо * и < 0 ЪТ * и > 0 (6)

Во второй системе требуется строгое выполнение условия: Ьт * u > 0

Теорема Фаркаша имеет простую интерпретацию: Либо вектор b можно представить, как линейную комбинацию других векторов с положительными коэффициентами, либо через нуль можно провести гиперплоскость, такую, что векторы столбцы матрицы А и вектор b будут лежать в различных полупространствах, определяемых данной гиперплоскостью.

Рассмотрим, как теорему Фаркаша можно применить для определения экстремальности точек множества. Рассмотрение начнем с одной точки. Введем следующую систему обозначений:

j — индекс точки,) = 1,2 .... п ; i — индекс координат точки, i = 1,2 .... т ; ßjy — i — тая координата j — ой точки ;

bj — i — тая координата точки Ъ проверяемой на экстремальность; Ху — коэффициенты линейной комбинации точек . Точка Ъ является экстремальной относительно других точек, если следующая система несовместна:

E"=i aiy * ху = fy i = 1,2... т (7)

S?=i*y = 1 (8)

Ху >0 j = 1,2 ...n (9)

Тогда, по теореме Фаркаша, ей можно поставить в соответствие систему:

Ij=i aiy +um+i < 0 j = 1,2 ... n (10)

Ij=ibi *uf +um+i >с , (11)

где с — некоторая положительная малая константа

Отметим, что если система (10), (11) совместна при некотором с > 0, то, умножив правую и левую части неравенства (11) на некоторое положительное число, можно получить в правой части любое число. Поэтому неравенство (11) можно преобразовать, и в окончательном виде система альтернативная системе (7)-(9) будет выглядеть:

Ij=i aiy *Uj +um+i < 0 j = 1,2 ... n (10)

>1 (12) Системы (7)-(9) и (10), (12) обладают следующим взаимным свойством: если одна из них совместна, до другая нет.

Система (10), (12) естественным образом может быть преобразована в задачу линейного программирования (ЗЛП):

Il=iaiy *Mj +um+i < 0 j = 1,2 ... n (10)

2!=i^*^+um+i<1 (13)

max g = Il=i *Uj +um+i (14)

Заметим, что условия (10), (13) совместны всегда, так как Uj = 0 V i и um+1 = 0 являются их решением. Условие (13) ограничили сверху и максимизируем его значение. ЗЛП (10), (13), (14) всегда имеют решение в случае, если g = 1, точка Ъ является экстремальной. Если g < 1, то точка Ъ является внутренней точкой ВО. Приведем листинг этой модели. Листинг 3. Модель проверки точки множества на экстремальность

int m =...; //число параметров range i = 1..m;// индекс параметра int n =...; //число точек range j = 1..n;// индекс точки

float b[i]=...; //параметры точки тестируемой на экстремальность float A[j][i]=...; //параметры других точек, кроме тестируемой

/* искомые переменные */

dvar float u[i] ; //переменные альтернативной системы dvar float d ; //переменная соответствующая um+1 dvar float gf ; //значение целевой функции

maximize gf;

subject to {

forall( j in j)

sum(i in i) A[j][i]*u[i]+d <= 0; sum(i in i) b[i]*u[i]+d<= 1; sum(i in i) b[i]*u[i]+d == gf;

/* Если gf=1 точка b экстремальная */}

Конечно, условие (13) можно заменить на: Zi=i * + um+1 = 1 (13*) и проверить систему (10), (13*) на совместность. Однако, при таком подходе выигрыша по времени счета мы не получим, но потеряем возможность построить двойственную задачу к (10), (13), (14). Если двойственные переменные обозначить, как уу _/' = 1,2...п+1 , двойственная задача будет выглядеть следующим образом:

Zy=i «iy *У/ + bj *уп+1 = bj i = 1,2 ... m (15)

Zy=i>7 + Уп+i = 1 (16)

У; >0 j = 1,2 ...n + 1 (17)

min yn+i (18)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Так как в прямой задаче нет ограничений на переменные, то в двойственной все условия записаны в виде уравнений. Точка, проверяемая на экстремальность, является экстремальной только в случае, если yn+1 = 1. Отметим, что модель (15)-(18) имеет много общего с моделью Пардалоса [9], но записана в виде, более удобном для практического использования.

Листинг 4. Проверка точки множества на экстремальность на основе модели (15)-(18)

int m = ...; //число параметров

range i = 1..m;// индекс параметра

int n = ...; //число точек

range j = 1..n;// индекс точки

float b[i]=...; //параметры точки, тестируемой на экстремальность float A[j][i]=...; //параметры других точек, кроме тестируемой

/* искомые переменные */

dvar float+ y[j] ; //двойственные переменные

dvar float+ yy ; // целевая двойственная переменная

minimize yy;

subject to {

forall( i in i)

sum(j in j) A[j][i]*y[j]+b[i]*yy == b[i]; sum(j in j) y[j]+yy == 1;

/* если уу = 1, то точка экстремальная*/ };

Данный подход использовался нами при анализе влияния на различные нозологии содержания токсичных и эссенциальных микроэлементов в моче, сыворотке крови и волосах.

Заключение. Конечно, в этой статье мы привели только небольшую часть результатов из теории линейных неравенств, которые мы активно используем на практике. Целью статьи было привлечь внимание специалистов по МО к этому мощному инструментарию. Предлагаемые нами результаты позволяют избавляться от избыточных ограничений, осуществлять поиск МСП системы неравенств и МСП комитетов единогласия, осуществлять поиск экстремальных точек выпуклых оболочек различными способами.

Список источников

1. Черников С.Н. Линейные неравенства / С.Н. Черников. - М.: Наука, 1968. - 488 с.

2. Еремин И.И. Теория линейной оптимизации / И.И. Еремин. - Екатеринбург, Изд-во «Екатеринбург», 1999. - 312 с.

3. Мазуров В.Д. Комитеты системы линейных неравенств / В.Д. Мазуров, М.Ю. Хачай // Автоматика и телемеханика, 2004. - №2. - С. 43-54.

4. Мазуров В.Д. Экзистенциальные вопросы комитетных конструкций / В.Д. Мазуров // Часть II. Вестник Южно-Уральского государственного университета, 2019. - Т.19. - №1. - С. 114-120.

5. Чернавин П.Ф. Машинное обучение на основе задач математического программирования // П.Ф. Чернавин, Д.Н. Гайнанов, В.Н. Панкращенко и др. - М.: Наука, 2021. - 128 с.

6. Зоркальцев В.И. Системы линейных неравенств. Учебное пособие / В.И. Зоркальцев, М.А. Киселева. -Иркутск: ИГУ, 2007. -99с.

7. Чернавин П.Ф. Оптимизационные модели подбора параметров технологических процессов на основе результатов машинного обучения / П.Ф. Чернавин, Н.П. Чернавин, Ф.П. Чернавин // Информационные и математические технологии в науке и управлении, 2023. - № 2(30). - С. 45-56.

8. Вычислительная геометрия. - URL: www.kpfu.ru/staf_íiles/а793539611/Lection3.pdf (дата обращения 01.07.2023)

9. Pardalos P.M., Li Y., Hager W.W. Linear programming approaches to the convex hull problem in Rm. Computer VFthematics Application, 1995, vol. 29, no. 7. pp. 23-29

Чернавин Павел Федорович. К.э.н., Уральский федеральный университет, доцент кафедры Аналитика больших данных и методы видеоанализа. Научные интересы: построение математических моделей с использованием методов исследования операций и машинного обучения. AuthorlD: 117430, SPIN:6370-8103, ORCID: 0000-0003-3214-3906, chernavin.p.f@gmail.com, 620002, Свердловская область, г. Екатеринбург, ул. Мира д. 19.

Чернавин Николай Павлович. Уральский федеральный университет, ассистент кафедры Аналитика больших данных и методы видеоанализа, AuthorlD : 971565, SPIN:5722-9436, ORCID: 0000-0003-3214-3906, ch_k@mail.ru, 620002, Свердловская область, г. Екатеринбург, ул. Мира д. 19.

Чернавин Федор Павлович. К.э.н., Уральский федеральный университет, доцент кафедры Моделирование управляемых систем, AuthorID: 971595, SPIN: 9237-5190, ORCID: 0000-0003-3214-3906, chernavin_fedor@mail.ru, 620002, Свердловская область, г. Екатеринбург, ул. Мира д. 19.

UDC 004.855.5

DOI:10.25729/ESI.2023.32.4.002

Application of the theory of linear inequalities in machine learning problems

Pavel F. Chernavin, Nikolai P. Chernavin, Fedor P. Chernavin

Ural Federal University, Russia, Yekaterinburg, p.f.chernavin@urfu.ru

Abstract. According to the authors, the results of the theory of linear inequalities should be more widely used in machine learning problems. To eliminate redundant inequalities when constructing ensembles based on linear separators, one should use theorems on dependent inequalities and consequences. To generalize the results of various studies, search models for the most compatible subsystems should be used. The concept of maximally collaborative subsystems should be expanded to include unanimity committees. To solve classification problems,

one can effectively use the method of convex hulls, and to determine the extreme points of convex hulls, use the results from the theory of alternative systems. The article provides the information necessary for this from the theory of linear inequalities, mathematical models based on them and a listing of programs for the computer implementation of mathematical models.

Keywords: machine learning, linear inequalities, maximally consistent subsystems, mathematical programming, classification, medical diagnostics

References

1. Chernikov S.N. Lineynyye neravenstva [Linear inequalities]. M., Nauka [Science], 1968, 488 p.

2. Yeremin I.I. Teoriya lineynoy optimizatsii [Theory of linear optimization]. Yekaterinburg, Izd-vo "Yekaterinburg" [Yekaterinburg Publishing House], 1999, 312 p.

3. Mazurov V.D., Khachai M.Yu. Komitety sistemy linejnyh neravenstv [Committees of the system of linear inequalities]. Avtomatika i telemekhanika [Automation and telemechanics], 2004, no.2, pp. 43-54.

4. Mazurov V.D. Ekzistencial'nye voprosy komitetnyh konstrukcij [Existential questions of committee constructions]. Chast' II. Vestnik Yuzhno-Ural'skogo gosudarstvennogo universiteta [Part II. Bulletin of the South Ural state university], 2019, v.19, no.1, pp. 114-120.

5. Chernavin P.F., Gajnanov D.N., Pankrashchenko V.N. et al. Mashinnoe obuchenie na osnove zadach matematicheskogo programmirovaniya [Machine learning based on mathematical programming problems]. Moscow, Nauka [Science], 2021, 128 p.

6. Zorkal'tsev V.I., Kiseleva M.A. Sistemy lineynykh neravenstv. Uchebnoye posobiye [Systems of linear inequalities. Tutorial]. Irkustk ISU, 2007, 99 p.

7. Chernavin P.F. Optimizatsionnyye modeli podbora parametrov tekhnologicheskikh protsessov na osnove rezul'tatov mashinnogo obucheniya [Optimization models for selecting technological process parameters for based on machine learning results]. Informatsionnyye i matematicheskiye tekhnologii v nauke i upravlenii [Information and mathematical technologies in science and management], 2023, no. 2(30), pp. 45-56.

8. Vychislitel'naya geometriya. [Computational geometry]. Available at: www.kpfu.ru/staf_files/a793539611 /Lection3.pdf (accessed: 07/01/2023)

9. Pardalos P.M., Li Y., Hager W.W. Linear programming approaches to the convex hull problem in Rm. Computer VFthematics Application, 1995, vol. 29, no. 7. pp. 23-29

Chernavin Pavel Fedorovich. Ph.D., Ural federal university, associate professor of the department of Big data analytics and video analysis methods. Research interests: building mathematical models using operations research and machine learning methods. AuthorlD: 117430, SPIN: 6370-8103, ORCID: 0000-0003-3214-3906, chernavin.p.f@gmail.com, 620002, Russia, Sverdlovsk region, Ekaterinburg, st. Mira 19.

Chernavin Nikolay Pavlovich. Ural federal university, associate professor of the department of Big data analytics and video analysis methods. AuthorlD: 971565, SPIN:5722-9436, ORCID: 0000-0003-3214-3906, ch_k@mail.ru, 620002, Russia, Sverdlovsk region, Ekaterinburg, st. Mira 19.

Chernavin Fedor Pavlovich. Ph.D., federal university, associate professor of the department of Big data analytics and video analysis methods. AuthorID: 971595, SPIN: 9237-5190, ORCID: 0000-0003-3214-3906, chernavin_fedor@mail.ru, 620002, Russia, Sverdlovsk region, Ekaterinburg, st. Mira 19.

Статья поступила в редакцию 10.07.2023; одобрена после рецензирования 06.10.2023; принята к публикации 01.12.2023.

The article was submitted 07/10/2023; approved after reviewing 10/06/2023; accepted for publication 12/01/2023.

i Надоели баннеры? Вы всегда можете отключить рекламу.