Об агрегированно корректных операциях над алгоритмами* Текст научной статьи по специальности «Математика»

ОБ АГРЕГИРОВАННО КОРРЕКТНЫХ ОПЕРАЦИЯХ НАД АЛГОРИТМАМИ*

В.Л. Матросов, З.М. Шибзухов

Аннотация. Работа посвящена изучению корректных операций над алгоритмами, которые преобразуют наборы корректных алгоритмов в корректные алгоритмы. Основное внимание уделено изучению применения агрегирующих функций типа среднего для построения корректных операций над алгоритмами. Описаны некоторые схемы построения агрегировано корректных операций.

Ключевые слова: корректный алгоритм, корректная операция, агрегирующая функция, смеси алгоритмов.

Summary. The article deals with the study of valid operations on algorithms that transform sets of the correct algorithms into the correct algorithms. The main attention is given to the study of the application of aggregate functions of medium type to build correct operations on algorithms. It also describes some schemas of the formation of aggregated correct operations.

Keywords: correct algorithm, correct operation, aggregation function, mixture of algorithms.

В настоящей работе обсуждается один класс корректных операций [1-3] над алгоритмами распознавания и прогнозирования. Корректные операции (КО) возникают в связи с проблемой построения корректных алгоритмов [4-5].

КО образуют значительный подкласс корректирующих операций. Они обладают важным свойством - сохраняют свойство корректности алгоритмов. Это свойство является весьма полезным при построении процедур монотонно корректного обучения с возможностью порождения семейств корректных алгоритмов, таких как конструктивное обучение ХП-нейронных сетей [6], алгоритмы вычисления ХП-оценок [7] и многослойных перцептронных сетей [8].

Типичная задача поиска корректной операции возникает, когда используемый метод обучения позволяет строить множество различных алгоритмов, корректных на своем обучающем множестве и обладающих относительно хорошим качеством функционирования на контроле. В этой ситуации применение корректной операции позволяет порождать новые алгоритмы в расширенной модели алгоритмов, которые, с одной стороны, сохраняют свойство корректности на обучающем множестве, а с другой - имеют лучшее качество функционирования на контроле.

* Работа выполнена при поддержке гранта РФФИ № 12-01-00162.

4 / 2013 Преподаватель XX

227

ЕК

Пусть у : X ^ У - неизвестная функциональная зависимость между описаниями объектов из множества допустимых описаний X и ответами из множества допустимых ответов У на интересующий вопрос, а : X ^ У - некоторый алгоритм из заданного класса (модели) алгоритмов А, который «аппроксимирует» у.

Поточечно корректные алгоритмы

Пусть Q(a | х) - функция А X X ^ И + , которая оценивает качество ответа алгоритма а е А на описании х е X. Рассмотрим случай задач регрессии: когда У с И . Для каждого у е У определим подмножество иу с У ответов, содержательно соответствующих корректному ответу у.

Определение. Ответ у = а(х) - корректный, если Q(a | х) е и-у , где у = у(х).

Один из способов оценки качества ответов основан на использовании функции потерь 1(у, у) , которая вычисляет «стоимость» потерь от различия между ответами у = а(х) и у = у(х).

Определение. 1: У X У ^ И + - функция потерь, если выполняются следующие условия:

1) если у = у, то 1(у,у) = 0;

2) если у > у2 > у или у! < у2 < у , то 1(у1, у) > 1(у2, у) .

Таким образом, ответ у принимается как корректный по отношению правильному ответу у, если 1( у, у) = 0 и и у = {у е У : 1( у,у) = 0}.

По определению, Q(a | х) = 1(а(х) у(х)).

Определение. Алгоритм а - поточечно корректный на X0 с X , если для каждого х е X0 ответ у = а(х) - корректный.

Поточечно корректные операции по ответам

Поточечно корректные операции по ответам можно строить на базе агреги-228 рующих функций [9-11].

Пусть М - агрегирующая функция на У, т.е. для всех т = 1,2,...:

• Уу,...,ут е У: М{у,...,ут}еУ ;

• М{у1,...,ут} - монотонная функция на Ут (т.е. для каждого у е У : прообраз М"1 (у) - связное множество).

Критерий поточечной корректности операции. М - корректная операция над алгоритмами по ответам, если для каждого т и каждого уу е У : М(иу ,...иу) с иу. у

В частности, если иу = {у} и М - идемпотентная агрегирующая функция (т.е. М(у,...,у) = у ), то М - корректная операция над алгоритмами по ответам.

Пример. Взвешенные g -средние по Колмогорову-Нагумо [12-13].

( т \

М {Уl,..., ут } = g -1 X ^ ^)

3

где веса w1,..., wm > 0 и w1 +-----+ wm = 1, g - строго монотонная непрерывная

функция У ^ И.

Преподаватель 4 / 2013

еру>

Хорошо известны примеры МЯ:

• среднее степенное: ц р

I т \ р

М р {Ут } = X ^У/

V

• «мягкий» максимум:

1 I т \

М{У1,..., Ут} =~ 1П £^

р V»=1

• среднее геометрическое:

т

Мс { Я,..., У т } =П УгК' .

г=1

Взвешенное среднее по Колмогорову можно обобщить следующим образом:

I т \

М81,...,8т {У1'-' Ут } = 8- X8» (У] )

I '=1 V

где Я(у) = Я1 (у) + • • • + gm (у) , Я1,...,gm - строго монотонные непрерывные функции У ^ И, которые одновременно возрастают или одновременно убывают, а Я - строго монотонная функция.

Критерий поточечной корректности операции МЯ: Если и~ - связный интервал, то МЯ (и~, . ) С , т.е. МЯ - поточечно корректная операция над алгоритмами по ответам.

Поточечно корректные операции по оценкам

Когда У - конечное множество, алгоритм а всегда строится в виде композиции а = Я о А , где А : X ^ и с И4 - алгоритм, который вычисляет «оценки», Я : и ^ У - решающее правило, которое выдает ответ на основании оценки. В таких случаях качество ответа у = а(х) вычисляется как качество оценки и = А(х).

Пусть 1: и XУ ^ И + - функция качества. По определению, Q(a | х) = 1(А(х) у(х)). Пусть Ьд - подмножество значений функции качества, которая содержательно соответствуют верным ответам. Пусть и~ = {и е и : 1(и,~) е Ьд }.

Определение. Оценка и = А(х) - корректная по отношению к ответу ~, если и е и~.

Пусть М - агрегирующее отображение на и, т.е. для каждого т = 1,2,...:

• для всех и1,...,ит е и: М{и1,...,ит}е и;

• М{и1,...,ит} - монотонная (т.е. для каждого ие и: прообраз М"1 (и) - связное множество).

Критерий поточечной корректности. М - поточечно корректная операция по оценкам, если для каждого т и каждого ~ е У: М(и~,...и~) с и~.

Пример. Взвешенное многомерное g -среднее по Колмогорову.

м8{и1,..., и т} = %-11£ w.. %(и; )|,

где №1,...,№т > 0 и w1 +-----+ wт = 1, g - непрерывное монотонное обратимое

отображение и ^ Ид .

4 / 2013 Преподаватель ^^^

229

Агрегировано корректные алгоритмы

Пусть О - некоторая агрегирующая функция. Для вычисления качества алгоритмов на конечном множестве описаний X0 определим агрегирующий функционал:

Q(a | X0) = Q{(a | x):xе X0}.

230

Пусть Lq с U - заданное подмножество значений функционала Q. Значения из Lq (и только они) соответствуют алгоритмам, которые принимаются как корректные на X0 по отношению к функционалу качества Q .

Определение. Алгоритм a - агрегировано корректный на X0 по отношению к функционалу качества Q, если Q(a | X0) е Lq .

Агрегировано корректные операции над алгоритмами по ответам

Пусть F - агрегирующая функция на Y.

Определение. Операция a = F{a1v.., am} - агрегировано корректная, если

F{LQ ,..., LQ } С LQ .

Пусть Y с R - связный интервал, f: Y ^ Y - вещественная функция f (x), M - идемпотентная агрегирующая функция. Определим понятие M -выпуклой функции. Определение. f (x) - M-выпуклая, если

f (M{Xj,..., Xm })< M{f (Xj ),..., f (Xm )}.

Рассмотрим g -средние по Колмогорову Mg.

Лемма. Пусть g - монотонно возрастающая, g o f o g- - выпуклая функция R ^ R. Тогда f - M -выпуклая. Приведем примеры:

• 1(y,y) = |y<p> — <p>| , где y<p> = sign(y) | y |p - выпуклая относительно

степенного среднего;

• 1(y, ) = — П \ep — epy\ - выпуклая относительно экспоненциального

p 1 1

среднего.

Пусть f (x) - M -выпуклая функция на Y, M - идемпотентная агрегирующая функция на Y .

Определение. M - не доминирует над M , если

M{М{ип,...,ы1т},...,М{иот,...,uNm}}< M {1\~{мп,...,ыт},...,М{м1иuNm}}. Приведем примеры:

• если M = M и M - бисимметричная, то M не доминирует над собой;

• min не доминирует над max .

Теорема. Пусть 1(y, ) - M -выпуклая на Y , функционал Q определен на базе M и M не доминирует над M . Тогда M - агрегировано корректная операция над алгоритмами по ответам относительно Q.

Преподаватель ^

4 / 2013