Обнаружение закономерностей в данных для распознавания объектов как задача условной псевдобулевой оптимизации Текст научной статьи по специальности «Математика»

УДК 519.854.33

Вестник СибГАУ Т. 16, № 1. С. 16-21

ОБНАРУЖЕНИЕ ЗАКОНОМЕРНОСТЕЙ В ДАННЫХ ДЛЯ РАСПОЗНАВАНИЯ ОБЪЕКТОВ КАК ЗАДАЧА УСЛОВНОЙ ПСЕВДОБУЛЕВОЙ ОПТИМИЗАЦИИ

А. Н. Антамошкин, И. С. Масич

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

E-mail: [email protected]

Создание и использование логических алгоритмов классификации основывается на выявлении в исходных данных закономерностей, из набора которых формируется решающая функция. Поиск закономерностей можно рассматривать как задачу комбинаторной оптимизации. Для получения более эффективного решения выбор алгоритма оптимизации следует производить исходя из характерных свойств, присущих рассматриваемой оптимизационной задаче. Рассматриваются некоторые свойства задач оптимизации, решаемых в ходе поиска логических закономерностей в данных.

Рассматривается задача распознавания объектов, описываемых бинарными признаками и разделенных на два класса. Закономерности являются элементарными блоками для построения логических алгоритмов распознавания.

Задачу нахождения максимальной закономерности можно записать в виде задачи условной псевдобулевой оптимизации. Проводится исследование свойств оптимизационной модели, описывающей поиск логических закономерностей в данных.

Результаты исследований показывают, что в пространстве поиска имеется множество постоянства целевой функции, которое затрудняет работу алгоритмов оптимизации, начинающих поиск из допустимой точки и ведущих его по соседним точкам, так как вычисление целевой функции в системе окрестностей, состоящей из соседних точек, не дает информации о наилучшем направлении поиска. При решении практических задач больших размерностей это множество постоянства может быть таким, что ему принадлежит большая часть точек допустимой области.

Рассматриваются возможности улучшения алгоритмов поиска закономерностей. Проводится экспериментальное исследование на практических задачах распознавания. Результаты экспериментов показывают, что использование информации о близости объектов выборки к закономерности позволяет преодолеть трудности, связанные с характерными особенностями решаемой задачи оптимизации и проявляющиеся в наличии множеств постоянства, и находить лучшие закономерности в данных для их использования в решении задач распознавания.

Ключевые слова: классификация, логические закономерности, псевдобулевая оптимизация.

Vestnik SibGAU Vol. 16, No. 1, P. 16-21

DETECTION OF PATTERNS IN DATA FOR RECOGNITION OF OBJECTS AS A CONDITIONAL PSEUDO-BOOLEAN OPTIMIZATION PROBLEM

A. N. Antamoshkin, I. S. Masich

Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected]

Creating and using logical classification algorithms are based on revealing patterns in the input data, and a decision function is formed from a set of these patterns. Search for patterns can be viewed as a combinatorial optimization problem. To produce the most effective solutions, the choice of the optimization algorithm should be made on the basis of the characteristic properties inherent in the considered optimization problem. In this paper we consider some properties of optimization problems that are solved in the course offinding logical patterns in the data.

We consider the recognition problem for objects described by binary attributes and divided into two classes. Regularities are the elementary blocks for construction logical recognition algorithms.

The problem of finding the maximum patterns can be written in the form of a constrained pseudo-Boolean optimization problem. We study the properties of the optimization model, which describes the search for logical patterns in the data.

Research results show that in the search space there is a set of constancy of the objective function. This hampers performance of the optimization algorithms, which begin the search from a feasible point and leading it to neighboring points, since the calculation of the objective function in the system of neighborhoods consisting of neighboring points, gives no information on best search direction. While solving practical problems of large dimension, this set of constancy may own most of the points of the feasible region.

We consider the possibilities of improving algorithms of search for patterns. Experimental investigations were conducted on the real-world recognition problems. Experimental results show that the use of information about the proximity of the sample objects to patterns can overcome the difficulties associated with the characteristic features of optimization problem solved and manifested in the presence of constancy sets. And this allows finding the best patterns in the data to use them in solving the recognition problems.

Keywords: classification, logical patterns, pseudo-Boolean optimization

Введение. Среди множества подходов к распознаванию образов можно выделить группу методов, основанных на выявлении закономерностей в наборах исходных данных и использовании этих закономерностей для формирования решающих правил. Эти закономерности представляют собой логические условия, связывающие комбинации значений некоторых признаков, описывающих объекты распознавания, с определенным классом объектов. Описываемый и схожие подходы с успехом применяются для решения практических задач распознавания, в том числе и в аэрокосмической отрасли [1-4].

Создание и использование логических алгоритмов классификации основывается на выявлении в исходных данных закономерностей, из набора которых формируется решающая функция. Поиск закономерностей можно рассматривать как задачу комбинаторной оптимизации. Для получения более эффективного решения выбор алгоритма оптимизации следует производить исходя из характерных свойств, присущих рассматриваемой оптимизационной задаче. В данной работе рассматриваются некоторые свойства задач оптимизации, решаемых в ходе поиска логических закономерностей в данных.

Ограничимся рассмотрением задачи распознавания объектов, описываемых бинарными признаками и разделенных на два класса К = К+ и К~ с Б, , где Б, = {0,1}, Б, = Б2 х Б2 х • • • х Б2. При этом классы не

пересекаются: К+ п К~ = 0. Объект X е К описывается бинарным вектором X = (х1,х2, ...,хп) и может быть представлен как точка в гиперкубе пространства бинарных признаков Б,. Объекты класса К+ будем

называть положительными точками выборки К, а объекты класса К- - отрицательными точками выборки.

Рассмотрим подмножество точек из Б,, у которых некоторые переменные фиксированы и одинаковы, а остальные принимают произвольное значение

Т = {х е Б, |хг- = 1 для V/ е А и х/ = 0 для V/ е Б}

для некоторых подмножеств А, Б с {1, 2, ..., п}, А п Б = 0. Это множество может быть также определено в виде булевой функции, принимающей истинное значение для элементов множества:

t (х) = ( Л х/ ) Л ( Л х/ ) .

/еА /еБ

Этот терм выделяет подкуб в булевом гиперкубе Б,, число точек подкуба равно 2(п~|АНБ|).

Будем считать, что терм t покрывает точку а е Б, , если t(а) = 1, т. е. эта точка принадлежит соответствующему подкубу.

Под закономерностью Р (или правилом) в данном случае понимается терм, который покрывает хотя бы один объект некоторого класса и не покрывает ни одного объекта другого класса [5]. То есть закономерность соответствует подкубу, имеющему непустое пересечение с одним из множеств (К+ или К) и пустое пересечение с другим множеством (К- или К+ соответственно). Закономерность Р, которая не пересекается с К-, будем называть положительной, а закономерность Р', которая не пересекается с К+, - отрицательной. В дальнейшем, для определенности, будем рассматривать только положительные закономерности.

Закономерности являются элементарными блоками для построения логических алгоритмов распознавания [6-8]. Наиболее полезными для этой цели являются закономерности с наибольшим покрытием (максимальные закономерности), т. е. такие, для которых | Р п К+ | максимально [9].

Один из путей в составлении набора закономерностей для алгоритма распознавания - это поиск закономерностей, опирающихся на значения признаков конкретных объектов.

Поиск максимальных закономерностей. Выделим некоторый объект а е К+. Обозначим Ра закономерность, покрывающую точку а. Те переменные, которые зафиксированы в Ра, равны соответствующим значениям признаков объекта а.

Для задания закономерности Ра введем бинарные переменные У = (ух,у2, ...,уп):

11, если /-й признак фиксирован в Ра;

У/ |

[0, в противном случае.

Отметим, что если /-й признак фиксирован в Ра (т. е. у/ = 1), то он обязательно равен а/ (иначе эта закономерность не будет покрывать базовый объект а). При У = (1, 1, ..., 1) закономерность покрывает лишь сам базовый объект а (и полностью совпадающие с ним объекты), но не покрывает ни один объект, отличающийся значением хотя бы одного признака.

Некоторая точка Ь е К будет покрываться закономерностью Ра только в том случае, если уг = 0 для всех 1, для которых Ьг Ф аг. С другой стороны, некоторая точка се К не будет покрываться закономерностью Ра в том случае, если у, = 1 хотя бы для одной переменной 1, для которой с, Ф а.

Таким образом, задачу нахождения максимальной закономерности можно записать в виде задачи поиска таких значений У = (у1, у2, ..., уП), при которых получаемая закономерность Ра покрывает как можно больше точек Ь е К и не покрывает ни одной точки с е К- [10]:

_ П

Е П (1 - Уг ) ^ max,

ЬеК+ г =

Ь Фаг

П

Е уг ^ 1 для всех с е К- .

1=1 сг Фаг

Эта задача является задачей условной псевдобулевой оптимизации, т. е. задачей оптимизации, в которой целевая функция и функции, находящиеся в левой части ограничения, являются псевдобулевыми функциями - вещественными функциями булевых переменных.

Следует заметить, что любая точка У = (у1, у2, ..., уП) соответствует подкубу в пространстве бинарных признаков X = (хьх2, ..., хП), включающему в себя объект а. При У е Ок (У(т. е. У отличается от У1 значением к координат), где У1 = (1, 1, ..., 1), число точек

этого подкуба равно 2к .

Основные понятия и свойства. Для исследования и описания свойств приведенной выше модели оптимизации изложим основные понятия и определения, связанные с построением алгоритмов псевдобулевой оптимизации [11]:

1. Точки X1, X2 е ВП назовем к-соседними, если они отличаются значением к координат, к = 1, п .

2. Множество Ок (X), к = 0, п , всех точек ВП, к-соседних к точке X, назовем к-м уровнем точки X.

3. Точку X е ВП назовем к-соседней множеству

А с В2П, если А пО^) Ф 0 и V/ = 0,к -1: А п О1 (X) = 0.

4. Точку X* е В2П , для которой / (X*) < /(X), VX е ), назовем локальным минимумом псевдобулевой функции /.

5. Псевдобулевую функцию, имеющую только один локальный минимум, будем называть унимодальной на В2П функцией.

6. Унимодальную функцию / назовем монотонной на В2П, если VXk е Ок (X*), к = 1П : /X-1) < /X), VXk-1 е Ок-1 (X*) п О1X).

7. Множество точек Щ.Ж0,X1) ={X0,X1, ...,X1}сЩ назовем путем между точками X0 и X1, если V г = 1, ..., 1 точка X1 является соседней к X1-1.

8. Путь Ж(X0,X1) с ВП между к-соседними точками X0 и X1 назовем кратчайшим, если 1 = к .

9. VX, У е ВП объединение всех кратчайших путей Ж(X, У) будем называть подкубом ВП и обозначать К (X, У).

Рассмотрим основные свойства множества допустимых решений задачи условной псевдобулевой оптимизации. Имеется задача следующего вида

C(X) ^ max

(1)

X eS с Б"

где С^) - монотонно возрастающая от X псевдо-булевая функция; £ с В2П - некоторая подобласть пространства булевых переменных, определяемая заданной системой ограничений, например:

A, (X) < H,, j = 1, m .

(2)

j v' ~ j'

Введем ряд понятий для подмножества точек пространства булевых переменных [12]:

- точка Y e S является граничной точкой множества S, если существует X e O1 (Y), для которой

X g S;

- точку Y e Oi (X0) n S будем называть крайней точкой множества S с базовой точкой X0 e S , если VX e O (Y) П Oi +1 (X0) выполняется X g S;

- ограничение, определяющее подобласть пространства булевых переменных, будем называть активным, если оптимальное решение задачи условной оптимизации не совпадает с оптимальным решением соответствующей задачи оптимизации без учета ограничения.

Одно из свойств множества допустимых решений состоит в следующем: если целевая функция является монотонной унимодальной функцией, а ограничение активно, то оптимальным решением задачи (1) будет точка, принадлежащая подмножеству крайних точек множества допустимых решений S с базовой точкой X0, в которой целевая функция принимает наименьшее значение:

C (X0) = min C (X).

X eB"

Свойства множества допустимых решений. Рассмотрим отдельное ограничение

Aj (Y) > 1,

n

где Aj (Y) = £ y для всех С eKT, j = {1,2, ..., |K-| }.

¿=1 cj *ai

Введем обозначение

11, если c- Ф ai; [0, если с/ = ai.

Aj (Y) = £ j.

Тогда

i=1

Функция Aj (Y) монотонно убывает от точки

Y1 = (1, 1, ..., 1).

Крайними точками допустимой области являются точки Yk е On_1(Y1) (либо, что то же самое, Yk е O1(Y0)), причем такие, что Yk отличаются от Y0 = (0, 0, ..., 0) значением k-й компоненты, при

которой zJk = 1.

Множеством допустимых решений является объединение подкубов, образуемых крайними точками допустимой области и точкой Y1:

U K (Yk, Y1).

t.zl =1

Теперь вернёмся ко всей системе ограничений

Aj (Y) > 1, для всех j = 1,2,...,| K_ |. Этой системе будут удовлетворять точки, принадлежащие множеству

П U K(Yk, Y1),

j=1 k :zk=1

которое, в конечном счете, является объединением конечного числа подкубов. Крайние точки допустимой области могут находиться на совершенно разных уровнях точки Y1. А их количество, в худшем случае, может достигать значения сПп/2], т. е. мощности срединного уровня.

«Двойственные» алгоритмы оптимизации, т. е. алгоритмы, начинающие поиск из недопустимой области (в данном случае, например, из точки Y0), приводят к поиску ближайших допустимых точек, которые зачастую имеют не очень высокие значения целевой функции, так как лучшие решения могут находиться на любом уровне Y0.

Свойства целевой функции. Рассмотрим целевую функцию

C (Y) = X П d _ Я)

beK+ i=1 bi *ai

для некоторого «базового» объекта а е K+. Либо можно записать

с (Y)=Хш (1 _ у,).

j=1 i=1

Функция C(X) монотонно возрастает от точки Y1 = (1, 1, ..., 1), принимая в ней значение 1, что соответствует покрытию «базового» объекта а. Наибольшее значение, равное |k +1, функция C(X) принимает

в точке Y0 = (0, 0, ..., 0).

Положим, что ближайший к объекту а объект b е K отличается значением s компонент:

п

s = min XI а, _ b, |.

beK + \{a} ,=1

Во всех точках Y e Ok(Yk = 0, 1, ..., s _ 1, значение целевой функции будет одинаковым и равным 1. Наличие такого множества постоянства затрудняет

работу алгоритмов оптимизации, начинающих поиск из допустимой точки У1 и ведущих его по соседним точкам, так как вычисление целевой функции в системе окрестностей, состоящей из соседних точек, не дает информации о наилучшем направлении поиска.

При решении практических задач больших размерностей это множество постоянства может быть таким, что ему принадлежит большая часть точек допустимой области. Это усложняет или делает невозможной работу таких алгоритмов, как генетический алгоритм, локальный поиск с мультистартом.

Поиск закономерностей по системе окрестностей. Некоторые алгоритмы поиска закономерностей путем решения задачи условной псевдобулевой оптимизации, приведенной выше, описаны в [13; 14]. Один из них - алгоритм поиска по соседним точкам -выглядит следующим образом.

Алгоритм 1.

1. Положим У = У1, г = 1.

2. Вычисляем С (У,) и А(Уу) для У, е 01(У) п Ог (У1), ] = 1, 2, ..., п -1 +1.

3. Если нет Уj, для которых А (У,) = 1, то У * = У -

решение задачи.

4. Из тех У, , для которых A(Уj) = 1, находим

У = а^тш С (У,).

У ]

5. Положим г = г +1, перейти на шаг 2.

Обобщенная функция ограничения А (У) вычисляется следующим образом:

Ц если А, (У) > 1, для всех у = 1, 2, ..., | К- |; А(У) = \ ' ■' 1 1

[0, в другом случае.

Основная трудность, возникающая при наличии множеств постоянства, т. е. связанных множеств, в которых функция принимает одинаковое значение, состоит в отсутствии информации о том, в каком направлении следует вести поиск для получения оптимальных или субоптимальных решений. Это касается поведения функций С(У) и А(У) в пространстве бинарных переменных. Один из способов улучшить ситуацию - использовать информацию не только о покрытии закономерностью объектов выборки, но также использовать данные о расстоянии до непокрытых пока объектов.

Рассмотрим множество точек, задаваемое закономерностью Ра и некоторый объект Ь е К \ Ра. Естественный способ определить близость объекта Ь к Ра -это использовать номер уровня к, при котором

Ь е Ок (Ра). Величина г(Ра, Ь) = к определяет степень близости объекта Ь к множеству Ра .

Закономерность Ра, задаваемая переменными У = (у1, У2, •••, Уп), представляет собой подкуб в пространстве признаков X = (хь х2, • .., хп). Поэтому

величину г(Ра,Ь) можно вычислить как число фиксированных компонент в закономерности Ра, для которых значение соответствующего признака объекта Ь отличается от значения признака а:

r(pa, b) = £ у • | a, - ь, |.

Величина

Я + (Ра) = £ г (Ра, Ь)

ЬеК + \ Ра

показывает суммарную близость положительных объектов выборки, не покрывающихся закономерностью Ра к этой закономерности. Для множества объектов другого класса

Я - (Ра) = £ г (Ра, с).

е^К- \Ра

Величины Я + (Ра) и Я - (Ра) могут использоваться при выборе направления при поиске. Например, последующую допустимую точку можно выбирать исходя из минимума отношения Я+ (Ра) / Я- (Ра).

Ниже приведен один из алгоритмов оптимизации, осуществляющий поиск по соседним точкам, который способен вести поиск во множестве постоянства целевой функции.

Алгоритм 2.

1. Положим У = У1, I = 1.

2. Вычисляем (У.)

Y. е Oi(Y) n O, (Yj = 1, 2,

и A(Yj)

n - i +1 .

для

3. Если нет Y:, для которых A(Yf) = 1, то Y = Y -

решение задачи.

4. Из тех , для которых Ау) = 1, находим

У = а^шш 5 (У,).

^ 3

5. Положим I = I +1, перейти на шаг 2. Здесь

\ если А,(У) > 1, для всех 3 = 1, 2, ..., | К- |;

A(Y) =

10, в другом случае;

S (Y) =

R+ (Pa)

цательного) правила вычисляется как отношение числа покрываемых им положительных (отрицательных) объектов к общему числу положительных (отрицательных) объектов.

Сравнение правил

Задача Число Объем Покрытие Покрытие

переменных выборки правил, алгоритм 1 правил, алгоритм 2

breast- 9 / 80 699 0,5 0,65

cancer

wdbc 30 / 66 569 0,35 0,54

hepatitis 19 / 37 155 0,22 0,33

spect 22 / 22 80 0,14 0,16

infarction 112/216 338 0,04 0,12

R ' (Pa)

где P - закономерность, соответствующая Y.

Результаты. Проведено экспериментальное сравнение двух описанных выше алгоритмов поиска правил на ряде задач распознавания [15; 16]. Решались следующие задачи распознавания (в скобках приведено краткое обозначение задачи, используемое при описании результатов): диагностика рака молочной железы (breast-cancer, wdbc); диагностика наследственного гипатита (hepatitis); данные по сердечной компьютерной томографии (spect); диагностика осложнений инфаркта миокарда - фибрилляция предсердий (infarction).

Результаты получены с помощью разработанного авторами программного обеспечения [17; 18]. Результаты представлены в таблице. Для каждой задачи в таблице приведено число переменных (число исходных признаков / число переменных, полученное в результате бинаризации исходных признаков); объем выборки (число наблюдений); среднее покрытие правил, найденных алгоритмами (число правил равно объему выборки). Покрытие положительного (отри-

Заключение. Результаты экспериментов показывают, что использование близости объектов выборки к закономерности позволяет преодолеть трудности, связанные с характерными особенностями решаемой задачи оптимизации и проявляющиеся в наличии множеств постоянства, и находить лучшие закономерности в данных для их использования в решении задач распознавания.

Библиографические ссылки

1. Dupuis C., Gamache M., Page J. F. Logical analysis of data for estimating passenger show rates in the airline industry // Journal of Air Transport Management. 2012. № 18. P. 78-81.

2. Hammer P. L., Bonates T. O. Logical analysis of data - An overview: From combinatorial optimization to medical applications // Annals of Operations Research 2006. 148.

3. Esmaeili S. Development of equipment failure prognostic model based on logical analysis of data : Master of Applied Science Thesis. Dalhousie University, Halifax, Nova Scotia, 2012.

4. An implementation of logical analysis of data / E. Boros [et al.] // IEEE Trans. on Knowledge and Data Engineering. 2000. 12. P. 292-306.

5. Hammer P. L. The Logic of Cause-effect Relationships // Lecture at the International Conference on Multi-Attribute Decision via Operations Research-based Expert Systems. Passau, Germany : Universitat Passau, 1986.

6. Pareto-optimal patterns in logical analysis of data / P. L. Hammer [et al.] // Discrete Applied Mathematics. 2004. № 144(1). P. 79-102.

7. Alexe G., Hammer P. L. Spanned patterns for the logical analysis of data // Discrete Appl. Math. 2006. Т. 154. P. 1039-1049.

8. Guoa C., Ryoo H. S. Compact MILP models for optimal and Pareto-optimal LAD patterns // Discrete Applied Mathematics. 2012. Т. 160. P. 2339-2348.

9. The maximum box problem and its application to data analysis / J. Eckstein [et al.] // Computational Optimization and Applications. 2002. Т. 23. P. 285-298.

i=i

10. Bonates T. O., Hammer P. L., Kogan A. Maximum Patterns in Datasets // Discrete Applied Mathematics. 2008. Vol. 156. No. 6. P. 846-861.

11. Антамошкин А. Н. Регулярная оптимизация псевдобулевых функций. Красноярск : Изд-во Красноярского ун-та, 1989. 284 с.

12. Antamoshkin A. N., Masich I. S. Pseudo-Boolean optimization in case of unconnected feasible sets // Models and Algorithms for Global Optimization. Series: Springer Optimization and Its Applications. Springer. 2007. Vol. 4. P. 111-122.

13. Антамошкин А. Н., Масич И. С. Эффективные алгоритмы условной оптимизации монотонных псевдобулевых функций // Вестник СибГАУ. 2003. Вып. 4. С. 60-67.

14. Масич И. С. Приближенные алгоритмы поиска граничных точек для задачи условной псевдобулевой оптимизации // Вестник СибГАУ. 2006. Вып. 1(8). С. 39-43.

15. Bache K., Lichman M. UCI Machine Learning Repository. Irvine, CA : University of California, School of Information and Computer Science, 2013. URL: http://archive.ics.uci.edu/ml.

16. Осложнения инфаркта миокарда: база данных для апробации систем распознавания и прогноза / С. Е. Головенкин [и др.] // Препринт. 1997. № 6. Красноярск: Вычислительный центр СО РАН.

17. Модель логического анализа для решения задачи прогнозирования осложнений инфаркта миокарда / С. Е. Головенкин [и др.] // Вестник СибГАУ. 2010. Вып. 4(30). С. 68-73.

18. Логический анализ данных в задачах классификации : свидетельство о государственной регистрации программы для ЭВМ / И. С. Масич, Р. И. Кузьмич, Е. М. Краева. № 2011612265. 2011.

References

1. Dupuis C., Gamache M., Page J. F. Logical analysis of data for estimating passenger show rates in the airline industry, Journal of Air Transport Management 18, 2012. P. 78-81.

2. Hammer P. L., Bonates T. O. Logical analysis of data - An overview: From combinatorial optimization to medical applications. Annals of Operations Research 148, 2006.

3. Esmaeili S. Development of equipment failure prognostic model based on logical analysis of data, Master of Applied Science Thesis, Dalhousie University, Halifax, Nova Scotia, July 2012.

4. Boros E., Hammer P. L., Ibaraki T., Kogan A., Mayoraz E., Muchnik I. An implementation of logical analysis of data, IEEE Trans. on Knowledge and Data Engineering 12, 2000. P. 292-306.

5. Hammer P. L. The Logic of Cause-effect Relationships. Lecture at the International Conference on Multi-Attribute Decision via Operations Research-based Expert Systems. Passau, Germany : Universitat Passau, 1986.

6. Hammer P. L., Kogan A., Simeone B., Szedmak S. Pareto-optimal patterns in logical analysis of data.

Discrete Applied Mathematics, 2004, vol. 144, no. 1, p. 79-102.

7. Alexe G., Hammer P. L. Spanned patterns for the logical analysis of data, Discrete Appl. Math. 2006, vol. 154, p. 1039-1049.

8. Guoa C., Ryoo H. S. Compact MILP models for optimal and Pareto-optimal LAD patterns, Discrete Applied Mathematics, 2012, vol. 160, p. 2339-2348.

9. Eckstein J., Hammer P. L., Liu Y., Nediak M., Simeone B. The maximum box problem and its application to data analysis. Computational Optimization and Applications. 2002, vol. 23, p. 285-298.

10. Bonates T. O., Hammer P. L., Kogan A. Maximum Patterns in Datasets. Discrete Applied Mathematics, 2008, vol. 156, no. 6, p. 846-861.

11. Antamoshkin A. N. Regulyarnaya optimizatsiya psevdobulevykh funktsiy. [Regular optimization of pseudo-functions]. Krasnoyarsk, Izd-vo Krasnoyarskogo un-ta Publ., 1989, 284 p.

12. Antamoshkin A. N., Masich I. S. Pseudo-Boolean optimization in case of unconnected feasible sets. Models and Algorithms for Global Optimization. Series: Springer Optimization and Its Applications. Springer, 2007, vol. 4, p. 111-122.

13. Antamoshkin A. N., Masich I. S. [Efficient algorithms for constrained optimization pseudo-monotone functions]. Vestnik SibGAU. 2003, no. 4, p. 60-67 (In Russ.).

14. Masich I. S. [The heuristic algorithms of boundary points search for an constraint pseudo-boolean optimization problem.] Vestnik SibGAU. 2006, no. 1(8), p. 39-43. (In Russ.)

15. Bache K., Lichman M. UCI Machine Learning Repository. Irvine, CA: University of California, School of Information and Computer Science, 2013. Available at: http://archive.ics.uci.edu/ml.

16. Golovenkin S. Е. et al. Oslozhneniya infarkta miokarda: baza dannykh dlya aprobatsii sistem raspoznavaniya i prognoza [Complications of myocardial infarction: a database for testing recognition systems and forecasting]. Krasnoyarsk, Vychislitel'nyy tsentr SO RAN, Preprint no. 6, 1997 (In Russ.).

17. Golovenkin S. Е. et al. [Model of logical analysis for solving problem of prognosis of myocardial infarction complication]. Vestnik SibGAU. 2010, no. 4(30), p. 68-73 (In Russ.).

18. Masich I. S., Kuzmich R. I., Kraeva E. M.

Logicheskiy analiz dannykh v zadachakh klassifikatsii. Svidetel'stvo gosudarstvennoy registratsii programmy dlya EVM №2011612265 [Logical analysis of data in classification problems. Certificate of state registration of the computer № 2011612265]. SibGAU, 2011 (In Russ.).

© Антамошкин А. Н., Масич И. С., 2015