CC BY
12УДК: 519.7 MSC2010: 68R01
КОЛМОГОРОВСКАЯ СЛОЖНОСТЬ И VC РАЗМЕРНОСТЬ СЕМЕЙСТВ РЕКУРСИВНЫХ ФУНКЦИЙ
© В. И. Донской
Крымский федеральный университет им. В. И. Вернадского Таврическая академия факультет математики и информатики просп. Академика Вернадского, 4, Симферополь, 295007, Российская Федерация
e-mail: vidonskoy@mail.com
Kolmogorov complexity and the VC dimension of families of recursive functions.
Donskoy V. I.
Abstract. Kolmogorov's definition of algorithmic complexity of constructive objects [7] is applicable not only to character strings, but also to the functions, function collections, and many other objects. If we define Kolmogorov complexity of a family of recursive functions, it will be its entropy characteristics. Introduced by different ways measures of a complexity of families of functions are of great theoretical and practical interest. In particular - combinatorial dimension or the dimension of Vapnik-Chervonenkis that for an arbitrary family F is denoted as VCD(F) is a measure of the diversity or entropy of this family.
The main idea of this article consists in the following. According to Kolmogorov's approach it must be assumed that the complexity of a family of functions F must be the smallest length of a binary word, which is received as input, the optimal machine-decompressor will allow to completely restore any function of the family F. So determined Kolmogorov complexity of the family, denoted further KC(F), will be a measure of its uncertainty - Kolmogorov entropy. If F is a finite collection of computable functions and KC(F) = len(p), where p - the binary word, len(p) - the length of p, one can specify a constructive method of constructing upper bounds of the Kolmogorov complexity KC(F) consisting in the fact that on the basis of precise original description of the class F it is constructed (encoded or, one might say, programmed) as short as possible description of this class in the form of word p'. In this way mathematicians do while programming data structures. It is necessary that the word p' would be possible by using some decompressor to recover any function of the family F, and then KC(F) < len(p').
Previously [4], the author introduced the definition of the conditional Kolmogorov complexity Ki (F) of an arbitrary family of recursive functions F relative of a set of training samples of the length l. By use this definition, the inequalities
VCD(F) < Ki(F) < VCD(F) log l,
(1)
was proven, just in case when both the conditions
i) VCD(F) > 2;
ii) l > VCD(F) (2)
have a place. The result (1) was useful because it gave lower and upper estimates of the conditional Kolmogorov complexity of a family of functions and let to prove the theorem on non-computability of VC dimension of arbitrary family of recursive functions [5]. However, exhaustive justification of the pVCD method [6] of estimation of VC dimension was prevented by the condition (2).
In the paper, a new definition of Kolmogorov complexity KC(F) is presented, and the inequality VCD(F) < KC(F) is proved. This inequality allows to use len(p') as an estimation of the Kolmogorov complexity of the family F and as the upper estimation of its capacity VCD(F). Estimations of VCD of some families of functions obtained by pVCD method (and for the comparison - obtained by other methods) are given.
Keywords: VC dimension, Kolmogorov complexity, recursive functions.
Введение
Колмогоровское определение алгоритмической сложности конструктивных объектов [7] применимо не только к строкам символов, но и к функциям, к семействам функций, и ко многим другим объектам. Если определить колмогоровскую сложность семейства функций, то она будет являться его энтропийной характеристикой. Вводимые разными способами меры сложности семейств функций представляют большой теоретический и практический интерес. В частности - комбинаторная размерность или размерность Вапника-Червоненкиса, которая далее для произвольного семейства F обозначается как VCD(F) и является одной из мер разнообразия или энтропией этого семейства.
Основная идея данной статьи состоит в следующем. Согласно колмогоровскому подходу следует полагать, что сложностью конечного семейства функций F должна быть наименьшая длина двоичного слова, получив которое в качестве входа, оптимальная машина-декомпрессор позволит полностью восстановить любую функцию семейства F. Определённая таким образом колмогоровская сложность семейства, обозначаемая далее KC(F), будет являться мерой его неопределённости - колмо-горовской энтропией. Если F - конечное семейство вычислимых функций и KC(F) = len(p), где p - двоичное слово, а len(p) - его длина, то можно указать конструктивный метод построения верхней оценки колмогоровской сложности KC(F), состоящий в том, что на основе точного исходного описания класса F строится (кодируется или, можно сказать, программируется) как можно более короткое его описание в виде
слова p'. Подобным образом математики поступают при программировании структур данных. Необходимо, чтобы по слову p' можно было бы при помощи некоторой программы-декомпрессора восстановить любую функцию семейства F, и тогда KC(F) < len(p'). Если при этом доказать неравенство VCD(F) < KC(F), то len(p') будет не только верхней оценкой колмогоровской сложности семейства F, но и верхней оценкой его вапниковской ёмкости VCD(F).
Определение колмогоровской сложности семейства функций можно дать только при наличии определения колмогоровской сложности любой одной функции из этого семейства. В работе [9, с. 13] было предложено определять колмогоровскую сложность K (f) частично рекурсивной функции f как K(f) = min^K(i) : машина Тьюринга T вычисляетf}, или, иначе, еслиpf есть кратчайшая программа для вычисления функции f, то K(f) = len(pf) (если программ вычисления функции f несколько, то программа pf - первая по порядку номеров).
Ранее [4] автором было введено определение условной колмогоровской сложности Ki (F) произвольного семейства (подмножества) рекурсивных функций F относительно множества всевозможных обучающих выборок длины l, на основе которого были получены неравенства
VCD(F) < Ki(F) < VCD(F) logl, (3)
справедливые в случае, когда одновременно выполнены условия
i) VCD(F) > 2;
ii) l > VCD(F). (4)
Результат (3) оказался полезным, поскольку дал нижнюю и верхнюю оценку условной колмогоровской сложности семейства функций и позволил доказать теорему о невычислимости VC размерности произвольного семейства рекурсивных функций [5]. Однако исчерпывающему обоснованию pVCD метода оценивания VC размерности препятствовало условие (4).
Целями данной статьи являются:
1) дать новое определение колмогоровской сложности KC(F) для любого семейства F ^ Pp.r., где Pp.r. класс частично рекурсивных функций;
2) доказать неравенство VCD(F) < KC(F), не содержащее дополнительных ограничений, для любого семейства функций F ^ Pp.r.;
3) обосновать на основе этого неравенства так называемый pVCD метод оценивания размерности Вапника-Червоненкиса для любого конечного семейства функций F С Pp.r., допускающего компьютерную реализацию;
Цели 1) и 2) направлены на получение новых теоретических результатов, а цель 3) - на практические приложения в области теории машинного обучения.
1. Основной РЕЗУЛЬТАТ
Пусть задано множество Хп, каждый элемент х = (х\,... , хп) которого будем называть точкой, и некоторое семейство индикаторных (классифицирующих) функций ® = {ф : Хп ^ {0,1}}. Каждая функция ф Е ® сопоставляет каждому элементу множества Хп значение 0 или 1. Тогда набору (выборке) из I точек = (Х\,... , XI) может быть сопоставлено двоичное слово (а1,..., аг,..., а^), называемое разбиением точек этого набора на два класса (по значениям аг = 0 и аг = 1). Определение 1. [1] УС -размерностью или УСБ(&) семейства ® называется наибольшее число к такое, что существует выборка из к элементов множества Xп, которую функции семейства ® могут разбить на два класса всеми возможными способами, но никакую выборку длины I > к при помощи функций семейства ® разбить на два класса всеми 21 способами невозможно. Если же всевозможные разбиения выборок существуют для сколь угодно большого к, то УСБ(&) полагается равной бесконечности.
Семейству вещественнозначных функций 5 = {/ : Хп ^ Е(/)} поставим в соответствие семейство 5 = {I(/(X) > bf),/ Е 5} индикаторных функций, где bf пробегает область значений Е(/),
I0, если /(х) < bf;
I(/(х) ) = <
I 1, если / (х) > bf.
Определение 2. [1] УС-размерностью произвольного семейства функций 5 называется УС размерность семейства индикаторных функций 5 этого семейства.
Определение 3. Колмогоровская сложность п—местной частично рекурсивной функции / = /(х1, ...,хп) при заданном декомпрессоре Б есть
Ко (/) = шт{/(р)|Б(р, х1 , ... , хп ) = /(х1, ...,Хп) ^'(х!, ...,Хп) Е Бот(/)}.
Ко (/) существует, поскольку существует универсальная частично рекурсивная (п + 1)-местная функция и = и(п,х1, ...,хп) такая, что для любой частично рекурсивной п-местной функции р = р(х1,...,хп) выполняется равенство и(п,х1, ...,хп) = р(х1, ...,хп) для всех (х1, ...,хп), когда значение р(х1, ...,хп) определено.
Определение 4. Колмогоровская сложность частично рекурсивной функции f есть
K (f )= min KD (f )
где D - множество всех таких декомпрессоров, что для каждого декомпрессора D Е D найдётся двоичное слово p, обеспечивающее для всех (xi, ...,xn) из области определения функции f выполнение равенства D(p,x1, ...,xn) = f (x1, ...,xn).
K(f) существует, что следует из существования Kd (f).
Определение 5. Колмогоровская сложность семейства F(n) n-местных частично рекурсивных функций есть
KC(F(n)) = sup KC(f).
f
Далее, чтобы упростить запись, не будем помечать обозначение семейства функций F(n) соответствующей этому семейству местностью n, имея в виду общий случай.
Для конечных семейств F их колмогоровская сложность будет ограничена: supfKC(f) < то, поскольку не превысит логарифма числа функций в классе F. Для бесконечных семейств функций F, в частности, для всего класса частично рекурсивных функций, supfKC(f) = +то. Если F - конечное семейство, то его колмогоровская сложность KC(F) является минимальной длиной, которая меньше или равна длине любого такого двоичного слова p, из которого можно "извлечь" любую функцию f Е F. Иначе говоря, найдётся машина Тьюринга, которая для любой функции f Е F, получив на вход двоичное слово pf длины KC(F), даст описание другой машины Тьюринга, обеспечивающей вычисление функции f.
Аргументы и значения частично рекурсивных функций, принадлежащие расширенному натуральному ряду No = {0,1,..., }, можно представить двоичными строками, например, {0,1,10,11,100,... }. Последовательность из l точек x1,..., Xj,... , xi, где Xj = (x1,... , xn), j = 1, n, также может быть представлена некоторой двоичной строкой Xi.
В приложениях, когда используются классы функций, реализуемые конечными компьютерами, большую роль играет параметр M - количество двоичных разрядов, которое может быть использовано для представления одного числа. В таком случае каждая переменная xi, i = 1, n, может принимать только 2м различных значений.
Условимся, что выборка Xi из l точек представляется двоичным словом X в подходящей кодировке, которое несёт в себе информацию о значениях M, n и l. Обозначим yi = (f (x^,... , f (xj),... , f (xi)).
Теорема 1. Если семейство рекурсивных функций F имеет конечную ёмкость VCD(F), то выполняется неравенство VCD(F) < KC(F).
Доказательство. Поскольку семейство F имеет конечную ёмкость VCD(F), в нём должно содержаться не менее 2VCD(F различных функций. Самое короткое двоичное слово, позволяющее выделить (как минимум - пронумеровать) каждую из указанного числа функций будет иметь длину VCD(F). В то же время колмогоровская сложность KC(F) семейства F определяет минимальную длину len(p) двоичного слова p, достаточную для того, чтобы иметь возможность указать значение этого слова - "программу" pf для вычисления каждой функции f семейства F. Поэтому должно выполняться неравенство
2VCD(F) < 2len(p) = 2kc(F)
выражающее тот факт, что ёмкость семейства F не может превышать его колмого-ровской сложности. Но для полноты доказательства следует уточнить: может ли для некоторого семейства функций F иметь место равенство VCD(F) = KC(F) и может ли иметь место строгое неравенство VCD(F) < KC(F) при условии KC(F) < го.
Укажем такое параметрическое семейство Fm,u,i, для которого выполняется равенство VCD(Fm,h,i) = KC(FM,n,i). Параметры M,n,l полагаются заданными, и их значениями располагает декомпрессор, что позволяет, получив входную строку, отсчитывать n раз по M бит для извлечения описания одной точки и l раз по M х n бит для извлечения выборки из l точек. Будем полагать, что все функции рассматриваемых семейств определены на множестве любых конечных двоичных строк и принимают в качестве значений некоторые двоичные строки. Определим конечное семейство Fm,u,i = {fo, fi,... , f2d—i} следующим образом. Каждая вычислимая функция fj, j Е 0,1,..., 2d — 1, реализует отображение на основе преобразования заданной фиксированной для этой функции строки длины d, представляющей собой двоичный код Uj номера j функции fj, при необходимости дополненный слева нулями для выравнивания по указанной длине d.
Алгоритм вычисления fj (X) состоит в следующем. Получив входную строку X длины len(X), алгоритм определяет число
= len(X) * = L nM -
(функция в правой части последнего равенства является частично рекурсивной). Если l = d, то в качестве результата выдаётся строка Uj длины d; если l < d, то в качестве результата выдаётся отрезок строки Uj, являющийся её окончанием длины l. Если l > d, то выдаётся строка Uj0 ... 00, являющаяся дополнением справа строки Uj ровно (l — d) нулями.
Очевидно, что все функции семейства Fm,u,i попарно различны, их число равно 2d, и эти функции в совокупности могут выдавать любые двоичные слова длины l только при l < d. Сложность указанного семейства KC(FM,n,i) = d, поскольку задание любого двоичного слова p длины d позволяет извлечь любую из функций семейства Fm,u,i описанным выше алгоритмом. C другой стороны, если входное слово X имеет длину L = M х n х d, что соответствует любой выборке, состоящей из d двоичных отрезков (блоков) длины M х n, то для любого двоичного слова у длины d в семействе FM,n,i найдется функция, которая поставит в соответствие этому входу X указанное слово у. Иначе говоря, при помощи функций семейства Fm,u,i можно любым способом классифицировать d блоков входной строки X. Но никакие d +1 блоков классифицировать всеми 2d+1 способами при помощи функций семейства Fm не удастся, поскольку в этом семействе имеется только 2d функций. Поэтому VCD(Fm), как и колмогоровская сложность KC(Fm), равна d. Таким образом, VCD(FM,n,i) = K C(FM,n,i).
Теперь укажем семейство линейных однородных функций £м,« вида
f (x1,... ,x„) = 01x1 +-----+ ... ,a„x„; ai Е {0,1,..., 2м - 1},xi Е No,
которое содержит 2Mn различных функций. Известно, что VCD(LM,n) = n [2, с. 48], поэтому VCD(LM,n) < KC(LM,n) < то. □
2. О методе программирования оценок VCD и колмогоровской сложности конечных семейств частично рекурсивных
функций
Полученное в теореме 1 неравенство VCD(F) < KC(F) позволяет применять для произвольного конечного семейства F частично рекурсивных функций оценку VCD(F) < KC(F) < len(p^), где p^ - любое сконструированное (запрограммированное как структура данных) двоичное слово конечной длины такое, что можно точно определить машину Тьюринга Mf (или компьютерную программу П^), которая, получив на вход слово pF, может выдать точное описание любой функции семейства F в виде рекурсивной функции или программы. Длина слова p#, очевидно, и будет верхней оценкой и колмогоровской сложности, и комбинаторной размерности (VCD) семейства F. Такой метод оценивания VCD был предложен автором в работе [4] и назван pVCD методом, однако его исчерпывающее теоретическое обоснование даётся теоремой 1, доказанной в данной статье.
Покажем, что оценка KC(F) < len(p^) является достижимой. Для этого рассмотрим конечный класс из четырёх линейных однородных булевых функций
L1,2 Е P2(2) = {a1 ■x1®a2-x2; ai,Xi Е {0,1},i = 1, 2}. Двухбитовое словоp£l,2 позволяет закодировать все четыре комбинации пар значений коэффициентов a1,a2. Программа, извлекающая функции по заданному слову Pl1 2 = а1,а2 , для любых входных значений булевых переменных x1,x2 просто вычисляет функцию а1 ■ x1 ф а2 ■ x2. Таким образом, в классе L1,2 содержится ровно четыре функции, информацию о которых невозможно сжать в двоичную строку длины менее, чем 2. VCD(£12) семейства линейных однородных функций, как уже отмечалось, равно размерности n = 2; VCD(L1,2) = KC(£1,2) = len(p£l, 2) = 2.
В случае достаточно сложных семейств рекурсивных функций (алгоритмов и программ) получение оценок при помощи pVCD метода требует изобретательности и навыков программирования структур данных, но оказывается существенно проще, и во многих случаях оценки получаются лучше, чем найденные комбинаторными методами. Однако нужно напомнить, что эти оценки предполагают компьютерную реализацию функций.
В табл. 1. приведены оценки VCD некоторых семейств функций, полученные pVCD методом, и для сравнения - полученные другими методами и найденные в указанных источниках. Для всех приведенных в таблице оценок M обозначает разрядность компьютера, а n - число переменных. В табл. 1 включены следующие семейства функций.
BFTn ^ - семейство булевых функций, зависящих от n переменных и представленных бинарными деревьями не более чем с ^ листьями.
DNFm^,n - семейство булевых функций, представленных в виде дизъюнктивных нормальных форм, содержащих не более ^ конъюнкций над n переменными и не более m литералов.
BSPn^ - семейство решающих функций, представленных BSP-деревьями не более чем с ^ листьями над n вещественными переменными, которые используются для задания линейных предикатов в вершинах бинарного дерева.
NNk,1 - семейство решающих функций, определяемых нейронными сетями с единственным скрытым слоем, содержащим k узлов.
NNk,m - семейство решающих функций, определяемых нейронными сетями с k узлами в каждом из m скрытых слоёв.
Fima - семейство решающих функций, определяемых интервальными множественными автоматами [8] с алфавитами данных из ^ символов и с r состояниями.
Таблица 1
Семейство Оценка ёмкости семейства pVCD Оценка ёмкости другими
функций методом методами
BFTn^ (p — 1)(|7o02nl + \log2(p + 3)1) plog2(np) [3]
DN Fm,^,n m + (p — 1 + m) \log2(n + 1)1 -
BSPn,^ (p — 1)(\log2n1 + \log2(p+3)1 + nM) -
NNM M (nk + 2k + 1) (2nk + 4k + 2) х xlog2(e(nk + 2k + 1)) [10]
NNkim M ((n + m)k + mk2) O((n + m)k + mk2) x xlog2((n + m)k + mk2) [2]
f/MA p(M + r2) + r 0(p(log2p + r2)) [8]
Заключение
В работе получен следующий теоретический результат: размерность Вапника-Червоненкиса произвольного класса частично рекурсивных функций не превышает колмогоровской сложности этого класса: VCD(F) < KC(F) для любого семейства функций F ^ Pp.r.. Это неравенство позволяет применять для произвольного конечного семейства F частично рекурсивных функций оценку VCD(F) < KC(F) < len(p^), где p^ - любое сконструированное (запрограммированное как структура данных) двоичное слово конечной длины такое, что можно указать компьютерную программу , которая, получив на вход слово p^, может выдать точное описание любой функции семейства F в виде реализующей её программы. Длина слова p^ будет верхней оценкой и колмогоровской сложности, и VC размерности семейства F. Такой метод оценивания VCD был предложен автором в работе [4] и назван pVCD методом, однако его исчерпывающее теоретическое обоснование даётся теоремой 1, доказанной в данной статье.
^исок литературы
1. Вапник, В. Н. Восстановление эависимостей по эмпирическим данным / В. Н. Вапник. — M.: Наука, 1979. — 448 с.
VAPNIK, V. (1979) The restoration of dependencies from empirical data. Moscow: Nauka.
2. Вьюгин, В. В. Математические основы теории машинного обучения и прогнозирования / В. В. Вьюгин. — M.: МЦНМО, 2013. — 387 с.
VJUGIN, V. (2013) Mathematical foundation of machine learning theory and forecasting . Moscow: MCCME.
3. Донской, В. И. Асимптотика числа бинарных решающих деревьев // Ученые записки Таврического национального университета им. В. И. Вернадского. Серия "Математика". — 2001. — Т. 14, № 53. — C. 36-38.
DONSKOY, V. (2001) The asymptotic number of binary decision trees. Scientific notes of V. I. Vernadsky Taurida national University. Series "Mathematics". 14 (53). p. 36-38.
4. Донской, В. И. Колмогоровская сложность классов общерекурсивных функций с ограниченной ёмкостью // Таврический вестник информатики и математики. — 2005. — № 1. — C. 25-34.
DONSKOY, V. (2005) Kolmogorov complexity of total recursive function classes with limited capacity. Taurida Journal of Computer Science Theory and Mathematics. 1. p. 25-34.
5. Донской, В. И. Невычислимость VC-размерности семейств классифицирующих функций // Таврический вестник информатики и математики. — 2014. — № 1. — C. 5-13.
DONSKOY, V. (2014) Non-computability of the VC dimension of classifiers families. Taurida Journal of Computer Science Theory and Mathematics. 1. p. 5-13.
6. Донской, В. И. Оценки ёмкости основных классов алгоритмов эмпирического обобщения, полученные pVCD методом // Ученые записки ТНУ им. В.И.Вернадского. Серия "Физико-математические науки". — 2010. — Т. 23, № 62. — C. 56-65.
DONSKOY, V. (2010) Estimations of the capacity of the basic classes of algorithms of empirical generalizations derived by the pVCD method. Scientific notes of V. I. Vernadsky Taurida national University . Series "Phys.-Math. Sc.". 23 (62). p. 56-65.
7. Колмогоров, А. Н. Комбинаторные основания теории информации и исчисления вероятностей // УМН. — 1983. — T. 38, вып.4(232). — C. 27—36.
KOLMOGOROV, A. (1983) Combinatorial foundation of information theory and of the calculus of probability. Successes of mathematical Sciences. 38 (4,232). p. 27—36.
8. BEIMEL, P., KUSHILEVITZ, E. (2000) Learning Unions of High Dimensional Boxes over the Reals. Inf. Proc. Letters. 73(5-6). p. 213-220.
9. GRUNVALD, A., VITANYI, P. (2004) Shannon Information and Kolmogorov Complexity. arxiv:cs, cs. IT. 0410002. p. 51.
10. SONTAG, E. (2008) VC Dimension of Neural Networks. In Neural Networks and Machine Learning. Berlin: Springer. p. 69-95.
