ОЦЕНКИ ЕМКОСТИ ОСНОВНЫХ КЛАССОВ АЛГОРИТМОВ ЭМПИРИЧЕСКОГО ОБОБЩЕНИЯ, ПОЛУЧЕННЫЕ pVCD МЕТОДОМ Текст научной статьи по специальности «Математика»

Ученые записки Таврического национального университета им. В. И. Вернадского

Серия «Физико-математические науки» Том 23 (62) № 2 (2010), с. 56-65.

УДК 519.95

В. И. Донской

ОЦЕНКИ ЕМКОСТИ ОСНОВНЫХ КЛАССОВ АЛГОРИТМОВ ЭМПИРИЧЕСКОГО ОБОБЩЕНИЯ, ПОЛУЧЕННЫЕ pVCD МЕТОДОМ

В работе представлены оценки емкости (VC-Dimension) основных классов алгоритмов эмпирического обобщения, используемых в задачах распознавания образов. Оценки получены новым pVCD методом, который основан на колмогоровском подходе к определению сложности и сводится к построению сжатого описания информации об алгоритмах каждого рассматриваемого класса в виде битовой строки.

Ключевые слова: емкость Вапника-Червоненкиса, машинное обучение.

Введение

Используемый в статье рУСО метод предполагает сужение семейства моделей эмпирического обобщения до классов частично-рекурсивных функций и даже уже -до классов вычислимых функций, реализуемых на компьютерах. Целесообразность такого подхода объясняется реализацией алгоритмов обучения и распознавания, как правило, именно на компьютерах. Поэтому исходное математическое описание семейств используемых моделей и правил распознавания в более широких классах, в частности, использование семейств непрерывных функций, влечет завышение оценок их сложности, которые к тому же очень трудно получать. Традиционное завышение оценок сложности семейств моделей обучения и распознавания объясняется тем, что математическое мышление создателей моделей чаще всего (и особенно на начальном творческом уровне) не рекурсивно по своей природе. Но при переходе к компьютерной реализации исходные модели и семейства решаюших правил автоматически сужаются до конечных рекурсивных схем. Именно последние используются для получения решений, и поэтому именно они и должны оцениваться.

Далее используются следующие обозначения. 5 — произвольное семейство частично-рекурсивных функций (алгоритмов), состоящее из функций вида А :

Хп ^ {0,1}; Хп = {X = (хх, ...Хп) : Xi € {0,1,..., 2м - 1}}. Выборка, состоящая из I произвольных элементов множества Хп, обозначается Хг = Хх,... ,Хг и представляет собой упорядоченный набор п х I ограниченных чисел из расширенного натурального ряда. Теоретически и практически допустимо считать все рассматриваемые числа представленными в виде бинарных строк. Множество всех выборок обозначается Хг.

Обучающей выборкой называется пара (Хг,щ), где а = (ах,...,аг), а^ = ^(Х^-),] = 1, ...,1; ^ : Хп ^ {0; 1} - некоторая заранее неизвестная, но предполагаемая существующей классифицирующая функция. Множество всех возможных обучающих выборок Х1 х {0; 1}1 представляет собой генеральную совокупность, из которой могут извлекаться обучающие выборки. Задача обучения состоит в нахождении по заданной обучающей выборке (Хг,аг) функции ^ или как можно более "близкой"к ней решающей функции (алгоритма или правила) А* € Б. Отыскиваемая функция ^, также как и её аппроксимация А*, являются предикатами, определяющими некоторое свойство или закономерность. Именно обобщение свойств выборки (частных наблюдений) с целью выбора решающего правила или нахождения закономерности определяет применяемый метод - эмпирическую индукцию. Изначальная некорректность метода эмпирической индукции, обусловленная неединственностью множества решений задачи обучения, приводит к дополнительной проблеме обоснования выбранного решающего правила.

Семейство Б, внутри которого отыскивается решение, определяется условиями, которым должна удовлетворять искомая функция, и выбором модели обучения (и соответствующего класса алгоритмов распознавания), например, вычисления оценок, нейронных сетей, деревьев решений или алгебраических корректирующих моделей над перечисленными и/или другими эвристическими алгоритмами [2, 4, 6, 7, 9]. В частности, отыскивается такая функция А* € Б, для которой эмпирический риск и1 (А) = 1-х ^ \=х |А(Х^-) — а^ | минимален.

Сложность семейств алгоритмов, применяемых в указанных задачах, имеет большое значение для обоснования выбора решений. Впервые важнейшее значение сложности семейств решающих правил в задачах эмпирического обобщения показали В. Н. Вапник и А. Я. Червоненкис [1]. Предложенная ими мера сложности, вообще говоря, произвольных вещественнозначных функций - так называемая ёмкость или УС-размерность, - возможно, является одним из самых ярких и полезных понятий для развития теории индуктивной математики (и не только). В данной статье приводится алгоритмическое определение сложности семейств алгоритмов, основанное на идеях А. Н. Колмогорова [5], и рассматривается применение введенной меры алгоритмической сложности для оценивания УС -размерности. Статья развивает новое направление в алгоритмической теории обучения, элементы которого впервые появились в работе автора [3].

Множество {0,1}* всех строк из нулей и единиц любой длины обычным образом (лексикографически и по длине)представляет целые неотрицательные числа 0,1,2,.... Длина слова p £ {0,1}* обозначается len(p). Класс частично-рекурсивных функций обозначается Pp.r.. Логарифмы полагаются по основанию 2.

Определение сложности по Комогорову и pVCD метод

Определение 1. Пусть U — такая частично-рекурсивная функция, что для каждого алгоритма A £ S и для любой выборки Xi найдется двоичное слово p, которое обеспечивает выполнение равенства U(p, XXi) = у, где у = A(Xi),..., A(Xi) — двоичное слово (строка) длины l. При этом каждый алгоритм A £ S полагается определенным на каждой выборке Xi из X1. Функция U с указанными свойствами существует в силу существования универсальной функции двух аргументов для любого семейства частично-рекурсивных функций одного аргумента.

(1) Сложность алгоритма A относительно выборки Xi по частично-рекурсивной функции U есть

Ku(A|Xi) = min len(p) : U(p,Xi) = y.

(2) Сложность алгоритма A на множестве Xl по частично-рекурсивной функции U есть

Kuxi(A) = max Ku(A|Xi)

xiexl

(3) Сложность семейства алгоритмов S на множестве Xi по частично-рекурсивной функции U есть

Ku, xi(S) = m|| Ku, x i(A).

(4) Сложность семейства алгоритмов S на множестве Xi есть

Ki(S) = min Ku,xi(S).

U t Pp.r.

В приведенном определении сложность семейства алгоритмов S на множестве всех возможных выборок Xi длины l - это наименьшая длина двоичного слова p, по которому можно восстановить самый сложных (и любой) алгоритм A £ S. Важно, что слово p обрабатывается одной и той же функцией (программой) U*, причем, согласно (4), наилучшей в следующем смысле. Программа U* обеспечивает наибольшее сжатие информации о семействе S в слово p длины Ki(S). Мажоранту сложности Ki(S) можно получить, если точно указать структуру слова p, подлежащего расшифровке, и его длину в битах, а также представить алгоритм обработки этого слова, который будет использоваться вместо программы U* для оценивания сложности сверху.

Теорема 1. [10] Пусть система частично-рекурсивных функций S вида A : Xn —^ {0,1} имеет ограниченную емкость hs и колмогоровскую сложность Ki(S). Тогда при конечных значениях hs > 2 и l > hs имеет место двойное неравенство hs < Ki (S) < hs log l.

Свойства сложности Ki (S).

(1) Колмогоровская сложность семейства алгоритмов равна наименьшему целому, большему или равному логарифму функции роста этого семейства: Ki (S ) = [log ms (l)l.

(2) 0 < Ki(S) < l.

(3) Если Ki (S) = o(l) при l ^ те, то имеет место равномерная сходимость эмпирических частот ошибок к их вероятностям по всему классу S.

(4) Для любого алгоритма U £ Pp.r. выполняется неравенство Ki (S) <

Kv,x i (S).

Будем обозначать hs = VCD(S) емкость класса S. Подход к оцениванию VCD на основе неравенства VCD(S) < len(p) : U(p,Xi) = y = (A(Xi),... ,A(Xi)) называется методом программирования оценки VCD, сокращенно — pVCD [3]. Метод pVCD предполагает конструирование сжатого описания (слова) одной и той же структуры для любого A £ S и указания алгоритма U, обрабатывающего вход (p,XXi). Длина такого слова p обозначается pVCD(S) = len(p). Оценка pVCD(S) может быть получена не единственным способом, и ее качество определяется найденным алгоритмом сжатия U. Иначе говоря, pVCD(S) - это длина любого слова p такого, что его структура позволяет расшифровать при помощи некоторой программы U любой алгоритм из семейства S. При этом, хотя pVCD(S) определяется неоднозначно, имеет место оценка VCD(S) < pVCD(S). Построение слова p как можно меньшей длины и указание расшифровывающей его программы требует искусства программирования и изобретательности, всегда необходимой для получения новых математических результатов. В большинстве случаев точное определение структуры слова p делает очевидным алгоритм его расшифровки, что исключает необходимость подробного выписывания этого алгоритма.

Лемма 1. (Об аддитивности pVCD оценки композиции алгоритмов).

Пусть S0 = {/0 = f1 о ■ ■ ■ о fr : f1 £ S1,..., fr £ Sr} — класс композиций алгоритмов зафиксированной структуры /0(/1,..., fr), принадлежащих семействам Si,..., Sr, для которых известны оценки ,pVCD(S1) = L1,... ,pVCD(Sr) = Lr. Тогда справедлива оценка pVCD(S0) = Xj=1 Lj.

Доказательство. Поскольку структура композиции неизменна, любой входящий в нее алгоритм определяется совокупностью слов p1,...,pj,...,pr, имеющих длины L1,...,Lj,...,Lr. Для обработки этих слов, согласно pVCD методу программирования оценок и соотношению Uj (pj ,Xi) = y = fj (Xi), указаны алгоритмы

Uj, j = 1,..., r, каждый из которых по слову pj восстанавливает алгоритм f. Поэтому легко указать алгоритм (программу) Us0 , обрабатывающую конкатенацию Ро = pip2-.pr и соответствующую композиции fo = fi о ■ ■ ■ о fr. Такая программа будет содержать подпрограммы Uj, j = 1,...,r, которые восстанавливают все алгоритмы fi,..., fr, и переходы между этими подпрограммами, предопределенные зафиксированной структурой композиции и известными длинами Li,...,Lj, ...,Lr подслов, входящих в конкатенацию p0 = pip2...pr.

1. Оценивание VCD класса DNFm)jU>n дизъюнктивных нормальных форм, содержащих не более чем ^ конъюнкций над n переменными

и не более m литералов

Дизъюнктивной нормальной формой (ДНФ) представления булевых функций

М a i

\ I / Г; i Г; 2 J>kj \ Г

называется выражение вида у (xj i л xj 2 л ... л xj к J), где x = x при а = 1

j=i ' j (положительный литерал) и xa = x при а = 0 (отрицательный литерал); ^ - число

м

конъюнкций в ДНФ; m = ^ kj - суммарное число литералов, входящих в ДНФ.

j=i

Обозначим DNFm,M,n — семейство булевых функций, представимых в виде ДНФ, содержащих не более чем ^ конъюнкций над n переменными и не более m литералов. Покажем, что для этого семейства функций справедлива оценка

pVCD(DNFm;M;n) = m + (^ - 1 + m) [log(n + 1)].

Действительно, слово р/, позволяющее закодировать информацию о любой ДНФ, состоящей из ^ конъюнкций над n переменными, можно представить конкатенацией двоичных слов сформированных из таких блоков, как показано в таблице 1.

Номер переменной Xj, ] е 1, ...,п, входящей в конъюнкцию, или ноль - разделитель блоков

Двоичная цифра 1, если Xj входит в конъюнкцию с инверсией, или 0 - в противном случае

ТАБЛИЦА 1. Фрагмент слова, кодирующего литерал

Чтобы представить в двоичном коде один любой номер переменной или ноль, достаточно зарезервировать + 1)] двоичных разрядов. Поскольку номера пе-

ременных начинаются с единицы, номер ноль можно использовать как признак разделения конъюнкций в строке. Чтобы указать знак литерала - с инверсией или без неё - достаточно одного двоичного разряда. При таком кодировании на каждый литерал в слове pf будет расходоваться +1)] +1 бит. На ^-ю конъюнкцию будет расходоваться kj (|"^(п+1)] +1) бит для представления литералов. (^-1) |"^(п+1)] бит понадобится для разделителей. Поэтому длина слова не превысит

Ем

^(|"1о§(п + 1)] +1) = т + - 1 + т)Г^(п + 1)].

Если ДНФ содержит V < у конъюнкций, то последние у — V блоков слова заполняются нулями.

Пусть дана ДНФ х3х5 V х2х4 из класса ОМГ10,2,5 - не более чем с 10 литералами и не более чем с двумя конъюнкциями. Число переменных п = 5. Десятичная (для облегчения восприятия) структура слова : |3|1|5|0|0|2|0|4|1|0|. Алгоритм расшифровки и поясняется следующей таблицей 2.

Цифра Пояснение

слова pf

3 Взять переменную хз

1 х3 берется без инверсии

5 Взять переменную х5

0 х5 берется с инверсией

0 Поскольку вместо номера переменной - ноль, получена конъюнкция хзЖ5, и далее начинается описание следующей конъюнкции, если за считанным нулем не последует второй ноль; счетчик выделенных конъюнкций увеличивается на единицу

2 Поскольку цифра не равна нулю, включить в новую текущую конъюнкцию переменную х2

0 х2 берется с инверсией

4 Взять переменную х4

1 х4 берется без инверсии

0 Поскольку вместо номера переменной - ноль, получена конъюнкция а?2х4; счетчик выделенных конъюнкций становится равным двум. Значение у = 2 свидетельствует об окончании слова pf и получениии результата расшифровки х3х5 V х2х4

Таблица 2. Расшифровка ДНФ по слову pf

2. Оценивание VCD нейронной сети с единственным скрытым слоем, содержащим k элементов (класс NNk,i)

В работе [11] для нейронной сети с единственным скрытым слоем, содержащим к элементов, и зафиксированной непараметрической активационной функцией а представлена оценка

VCD(NNki) = (2kn + 4k + 2) x log(e(kn + 2k + 1)).

Используя pVCD метод, легко получить оценку

pVCD(NNk>1) = M (nk + 2k + 1),

где M — число бит памяти, выделяемых для записи одного параметра; n — размерность входа.

Действительно, нейронные сети рассматриваемого класса полностью определяются nk + 2k + 1 параметрами: nk параметров соответствуют коэффициентам связи каждой из k внутренних вершин с каждым из n входов; k параметров определяют пороги суммирования для внутренних вершин и один параметр соответствует порогу выходной вершины сети. Если для каждого параметра используется M бит памяти, то каждую сеть рассматриваемого класса можно задать словом pf длины M(nk + 2k + 1). Алгоритм расшифровки этого слова состоит в последовательном считывании параметров (по M бит) согласно единому зафиксированному их порядку по всему классу. Считанные параметры подставляются в зафиксированные участки памяти алгоритма расшифровки.

Оценка, полученная pVCD методом, будет лучше известной [11] при M < 2log(e(kn + 2k + 1)), и ее выигрыш растет с ростом размерности задачи n.

3. VCD класса Nk,m нейронных сетей с k элементами в каждом из m

скрытых слоев

Для класса Nk,m нейронных сетей с k элементами в каждом из m скрытых слоев аналогичным образом получена оценка

pVCD(Nfc,m) = M (nk + 2mk2).

4. VCD суперпозиции f(Fb...,Fk) с фиксированным логическим

корректором f е P2(k)

Пусть Fi,...,Fk — семейства алгоритмов вида A : Xn —> {0,1}, имеющие VCD VCD(F1),..., VCD(Fk), и f — зафиксированная булева функция. Обозначим f (Fi,..., Ffc) = {f (fi,..., ffc) : fi е Fi,i = 1, k}. В работе [11] получена оценка

VCD(f(Fi,... ,Fk)) < 2klog(ek) max {VCD(Fi)}

i=1,..,k

Использование pVCD метода (см. лемму 1) позволяет получить

k

pVCD(f(Fi,... ,Fk)) = У pVCD(Fi) < k max pVCD(Fi).

i=i

5. VCD класса бинарных решающих деревьев с ^ листьями

pVCD метод позволяет получить оценку

pVCD(BFTn,M) = (^ - 1)(Tlog nl + riog(^ + 3)1)

для класса BFTn,^ бинарных решающих деревьев с ^ листьями; n — число булевых переменных. Логико-комбинаторным методом автору ранее удалось получить

оценку VCD(BFTn^) < у log(ny), которая в результате применения pVCD метода оказалась улучшенной.

Для класса BSPn^ [9] композиций бинарных решающих деревьев не более чем с у листьями и линейными предикатами во внутренних вершинах, зависящими от n числовых переменных, занимающих по M бит памяти каждая, pVCD оценка имеет вид (см. лемму 1)

pVCD(BSPn^) = (у - 1)(Tlog n] + riog(^ + 3)1 + nM).

6. VCD структурной композиции линейного алгебраического корректора k эвристических моделей F1,..., Fk (класс L(F1,..., Fk))

Для совокупности эвристических алгоритмов с произвольным линейным корректором pVCD метод позволяет получить оценку

k

pVCD(L(Fi, ...,Fk)) = Mk + ^ pVCD(Fi)

i=1

7. Оценивание VCD интервальных множественных автоматов (IMA)

Класс решающих функций Fima, порождаемый IMA, описывается на основе следующих двух определений.

Определение 2. [8] Множественным автоматом (MA) называется пятерка

< Q, £,5,qo,F>,

где Q — конечное множество состояний; £ — конечный алфавит; 5 : Q x £ —> 2Q — множественная функция переходов; qo £ Q — начальное состояние; F С Q — множество финальных состояний. Последовательность po,P1 ,...,pn называется принимаемым путем для входа Ш1,... ,шп, если p0 = q0, pi = 5(pi-1,wi) для любого i = 1,...,n и pn £ F. Автомат MA вычисляет функцию /ma : £* —> {0,1}, где /ма(ш) = 1, если число принимаемых путей для ш = (ш1,ш2,... ,шп) является нечетным, и /ма(ш) = 0, если это число — четное.

Определение 3. [8] Интервальным множественным автоматом (IMA) называется пара < A,C >, где A — множественный автомат с алфавитом £ = {0,1,..., у — 1}, C — множество, состоящее из у вещественных чисел: C = {c0, c1,..., c^-1}; c0 = —то; c0 < c1, ••• < c^-1. Индексом числа а, обозначаемым indc(а), называется max{i : ci < а}.

Функция /<a,c>, вычисляемая IMA < A,C >, ставит в соответствие вещественной числовой последовательности (x1,... ,xn) £ Rn значение /A(indc (x1),..., indc (xn))).

В работе [8] получена оценка

VCD(Fjma) = O(Mlog ^ + r2)),

где ^ = |£|, r = |Q|. Сначала авторы [8] оценили сверху число способов обработки IMA входной последовательности как (VCD(F/ma)■ n + 2)^■ 2O(^r ), затем получили окончательный результат.

Применение pVCD метода дает существенно лучшую оценку

pVCD(Fjma) = MM + r2) + r.

Выводы

Приведенные примеры оценивания VCD классов алгоритмов эмпирического обобщения при помощи pVCD метода и сравнение полученных оценок с известными ранее оценками позволяют заключить, что pVCD метод дает не худшие, а иногда даже лучшие результаты, чем логико-комбинаторные методы, применяемые для оценивания емкости. При этом оценки, получаемые pVCD методом, согласуются по своей структуре с известными из литературы оценками. Метод pVCD особенно эффективен для оценивания VCD классов сложных композиций алгоритмов эмпирического обобщения.

В дальнейшем целесообразно получить pVCD-оценки для классов моделей эмпирического обобщения, не рассмотренных в данной статье, в частности, АВО, потенциальных функций и др. [1, 4, 9]

Список литературы

[1] Вапник В. Н. Восстановление зависимостей по эмпирическим данным. - М: Наука, 1979. - 447 с.

[2] Донськой В. Й. Бтарт виршуючи дерева у задачах ттелектуального анал1зу тфор-мацп // Науков1 bíctí Нащонального техшчного ушверситету "Кшвський полиехшч-ний 1нститут". - 2001. - Вип. 5. -С.12-18.

[3] Донской В. И. Колмогоровская сложность классов общерекурсивных функций с ограниченной емкостью // Таврический вестник информатики и математики. - 2005. -№1. - C. 25-34.

[4] Журавлев Ю. И. Об алгебраическом подходе к 'решению задач 'распознавания // Проблемы кибернетики. - 1978. - Вып. 33. - С. 5-68.

[5] Колмогоров А. Н. Теория информации и теория алгоритмов. - М: Наука, 1987. - 304 с.

[6] Матросов В. А. Корректные алгебры ограниченной емкости над множествами некорректных алгоритмов // ДАН СССР. - 1980. - Т.253, №1. - С. 25-30.

[7] Хайкин С. Нейронные сети: полный курс - М.:Из-во "Вильямс 2006. - 995 с.

[8] Beimel A., Kushilevitz E. Learning Unions of High Dimentional Boxes over the Reals // Inf. Proc. Letters. - 2000. - vol.73, Issue 5-6. - P. 213-220.

[9] Devroye L. A., Gyorfi L., Lugosi G. Probabilistic Theory of Pattern Recognition - NY: Springer-Verlag, 1996. - 636 p.

[10] Donskoy V. I. The estimations based on the Kolmogorov Complexity and Machine Learning from Examples // Proc. of the 5-th Int. Conf. "Neural Networks and Artificial Intelligence"(ICNNAI'2008). - Minsk:INNS. - 2008. - P. 292-297.

[11] Sontag E.D. VC dimension of Neural Networks //In Neural Networks and Machine Learning. - Berlin: Springer, 1998. - P. 69-95.

Ощнки м1сткост1 основних клас1в алгоритм1в емшричного узагальнен-ня, одержан! pVCD методом

У роботг представленг оцгнки мгсткостг (VC-Dimension) основних класгв алгоритмгв емпгричного узагальнення, використованих в задачах роз-пгзнавання образгв. Оцгнки одержат новим pVCD методом, який заснова-ний на колмогоровському пгдходг до визначення складностг г зводиться до побудови стислого опису гнформацп про алгоритми кожного даного класу у виглядг бгтового рядка.

Ключов1 слова: Мютюсть Вапника-Червоненкиса, машинне навчання.

VC-Dimension Estimations of the Basic Algorithms of Empirical Generalization for Pattern Recognition Problems obtained by the pVCD method

In this paper, VC-Dmenswn estimations for Dedswn Trees, Neural Networks, DNF, Function ComposUwns obtamed by pVCD method are presented. The pVCD method гя based on the Kolmogorov' approach to complexUy defimtion.

Keywords: VC-Dimension, Machine Learning