О генерической неразрешимости десятой проблемы Гильберта для полиномиальных деревьев Текст научной статьи по специальности «Математика»

ПРИКЛАДНАЯ ДИСКРЕТНАЯ МАТЕМАТИКА

2019 Математические основы информатики и программирования №44

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ИНФОРМАТИКИ И ПРОГРАММИРОВАНИЯ

УДК 510.52

0 ГЕНЕРИЧЕСКОЙ НЕРАЗРЕШИМОСТИ ДЕСЯТОЙ ПРОБЛЕМЫ

ГИЛЬБЕРТА ДЛЯ ПОЛИНОМИАЛЬНЫХ ДЕРЕВЬЕВ1

А. Н. Рыбалов

Институт математики им. С. Л. Соболева СО РАН, г. Омск, Россия

Генерический подход к алгоритмическим проблемам предложен Каповичем, Мяс-никовым, Шуппом и Шпильрайном в 2003 г. В рамках этого подхода изучается поведение алгоритмов на множестве «почти всех» входов (это множество называется генерическим) и игнорируется его поведение на остальных входах, на которых алгоритм может работать медленно или вообще не останавливаться. В работе изучается генерическая сложность десятой проблемы Гильберта для диофанто-вых уравнений, представляемых в виде полиномиальных деревьев. Полиномиальное дерево — это бинарное дерево, листья которого помечены переменными или константой 1, а внутренние вершины содержат операции сложения, вычитания или умножения. Любой полином от многих переменных с целыми коэффициентами можно представить в виде такого полиномиального дерева. Доказывается, что проблема разрешимости диофантовых уравнений, представляемых в виде полиномиальных деревьев, является генерически неразрешимой.

Ключевые слова: генерическая сложность, диофантовы уравнения. DOI 10.17223/20710410/44/8

ON GENERIC UNDECIDABILITY OF HILBERT'S TENTH PROBLEM

FOR POLYNOMIAL TREES

A. N. Rybalov Sobolev Institute of Mathematics, Omsk, Russia E-mail: alexander.rybalov@gmail.com

Generic-case approach to algorithmic problems was suggested by Miasnikov, Kapovich, Schupp and Shpilrain in 2003. This approach studies behavior of an algorithm on typical (almost all) inputs and ignores the rest of inputs. We study generic complexity of the Hilbert's tenth problem for systems of Diophantine equations represented by so-called polynomial trees. Polynomial tree is a binary tree, which leafs are marked by variables or the constant 1, and internal vertices are marked by operations of addition, subtraction and multiplication. Every polynomial with integer coefficients can be represented by a polynomial tree. We prove generic undecidability of the decidability problem for Diophantine equations represented by polynomial trees. To prove

1 Исследование поддержано программой фундаментальных научных исследований СО РАН I.1.1.4, проект №0314-2019-0004.

this theorem, we use the method of generic amplification, which allows to construct generically undecidable problems from the problems undecidable in the classical sense. The main ingredient of this method is a technique of cloning, which unites inputs of the problem together in the large enough sets of equivalent inputs. Equivalence is understood in the sense that the problem is solved similarly for them.

Keywords: generic complexity, Diophantine equations.

Введение

Генерический подход в применении к алгоритмическим проблемам впервые предложен в 2003 г. в [1]. В рамках этого подхода изучается поведение алгоритма на множестве «почти всех» входов (это множество называется генерическим) и игнорируется его поведение на остальных входах, на которых алгоритм может работать медленно или вообще не останавливаться. Такой подход имеет приложение в криптографии, где требуется, чтобы алгоритмические проблемы были трудными для «почти всех» входов.

В 1970 г. Ю. В. Матиясевич [2], основываясь на работах М. Дэвиса, Дж. Робинсон и Х. Патнема, доказал, что проблема определения разрешимости диофантовых уравнений в целых числах, известная как десятая проблема Гильберта, алгоритмически неразрешима. В [3-5] показано, что основные функции шифрования многих криптографических систем с открытым ключом, среди которых система RSA и системы, основанные на трудноразрешимости проблемы дискретного логарифма, записываются на языке диофантовых уравнений. Эффективная генерическая разрешимость этих уравнений приводит к взлому соответствующих систем, поэтому актуальной является задача изучения генерической сложности проблемы разрешимости диофантовых уравнений в различных её постановках. Например, в [6, 7] доказано, что десятая проблема Гильберта остаётся неразрешимой на строго генерических подмножествах входов при представлении диофантовых уравнений с помощью так называемых арифметических схем. В [8] изучена генерическая сложность десятой проблемы Гильберта для систем диофантовых уравнений в форме Сколема.

В данной работе изучается генерическая сложность десятой проблемы Гильберта для диофантовых уравнений, представляемых в виде полиномиальных деревьев. Полиномиальное дерево — это бинарное дерево, листья которого помечены переменными или константой 1, а внутренние вершины содержат операции сложения, вычитания или умножения. Любой полином от многих переменных с целыми коэффициентами можно представить в виде такого полиномиального дерева. В работе доказывается, что проблема разрешимости диофантовых уравнений, представляемых в виде полиномиальных деревьев, является генерически неразрешимой.

1. Генерические алгоритмы

Пусть I — множество всех входов, а In — множество входов размера п. Для любого подмножества S С I определим последовательность

Pn(S) = ^, п =1, 2, 3,...,

|1 n I

где Sn = SПIn — множество входов из S размера п. Здесь |A| —число элементов в множестве A. Асимптотической плотностью S назовём предел (если он существует)

p(S) = lim pn(S).

n—^^o

Множество 5 называется генерическим, если р(Б) = 1, и пренебрежимым, если р(Б) = 0. Очевидно, что Б генерическое тогда и только тогда, когда его дополнение I \ Б пренебрежимо.

Алгоритм А с множеством входов I и множеством выходов 3 и {?} (? Е 3) называется генерическим, если

1) А останавливается на всех входах из I;

2) множество {х Е I : А(х) = ?} является пренебрежимым.

Здесь через А(х) обозначается результат работы алгоритма А на входе х. Гене-рический алгоритм А вычисляет функцию f : I ^ 3; если для х € I не выполнено А(х) = ?, то f (х) = А(х). Ситуация А(х) = ? означает, что А не может вычислить функцию f на аргументе х. Но условие 2 гарантирует, что А корректно вычисляет f на почти всех входах (входах из генерического множества). Множество Б С I называется генерически разрешимым, если существует генерический алгоритм, вычисляющий его характеристическую функцию.

Здесь и далее под размером двоичного дерева понимается число листьев. Полиномиальным деревом называется бинарное дерево, листья которого помечены переменными из множества {х^...,хп} (п — размер дерева) или константой 1, а внутренние вершины помечены знаками операций сложения, вычитания или умножения. Каждое полиномиальное дерево Ф с п листьями представляет некоторый полином Рф(х1,... , хп) с целыми коэффициентами следующим образом:

1) Рф(х1,... , хп) = 1, если Ф состоит из одного листа, помеченного константой 1;

2) Рф(х1,... , хп) = х^, если Ф состоит из одного листа, помеченного переменной х^;

3) Рф(х1,..., хп) = Рф(х1,..., хп) * Р^(х1,..., хп), если Ф состоит из левого поддерева Ф, правого поддерева Е и корня, помеченного операцией * Е {+, —, х}.

С другой стороны, легко видеть, что для любого полинома с целыми коэффициентами Р(х1,... ,хп) найдется полиномиальное дерево Ф (возможно, размера больше п) такое, что Р(х1,... , хп) = РФ (х1,... , хп). Таким образом, будем представлять диофан-товы уравнения вида Р(х1,... , хп) = 0 с помощью полиномиальных деревьев.

Будем называть полиномиальное дерево нормализованным, если при нумерации листьев дерева слево направо лист Ьк может быть помечен переменной х^, где г ^ к. Очевидно, что любое полиномиальное дерево можно нормализовать при помощи подходящего перенумерования переменных. В дальнейшем будем рассматривать только нормализованные полиномиальные деревья. Обозначим через Т множество всех нормализованных полиномиальных деревьев.

Напомним, что числа Каталана Сп определяются следующим образом:

Лемма 1. Число нормализованных полиномиальных деревьев размера п есть

2. Представление диофантовых уравнений в виде полиномиальных деревьев

биномиальный коэффициент.

ТП| = 3п-1(п +1)!С,

п- 1 .

Доказательство. Любое дерево из Т размера п есть размеченное бинарное дерево с п листьями и п — 1 внутренними вершинами. Известно (см., например, [9]), что существует Сп-1 неразмеченных бинарных деревьев с п листьями. Каждая внутренняя вершина такого дерева может быть помечена тремя символами {+, —, х}, поэтому есть всего 3п-1 таких разметок. Занумеруем листья дерева слева направо. Из условия нормализованности следует, что лист с номером к может быть помечен одной из к переменных £!,...,££ или константой 1, поэтому существует (п +1)! разметок для листьев. Это показывает, что |7П| = 3п-1(п + 1)!Сп-1. ■

В дальнейшем понадобится следующее утверждение о числах Каталана.

Лемма 2. Для п > т имеет место

Сп-т Сп

>

1

4т

Доказательство. Оценим отношение чисел Каталана:

'2(п — т)\ (2(п — т))!

С

пт

п + 1

пт

п +1 (п — т)!(п — т)!

(2п)!

Сп п — т +1 12п\ п — т +1

п п! п!

(2(п — т))!п!п! п! 2(п — т)... (п — т + 1)

>

>

(п — т)!(п — т)!(2п)! (п — т)! 2п... (п + 1)

п(п — 1)... (п — т + 1)2(п — т)... (п — т +1)

2п... (п + 1)

(п ... (п — т + 1))2

(п — 1)... (п — т) \ 2 1 1

2п ... (2(п — т) + 1) \2(п — 1)... (2п — 2т)/ 22т 4т. Лемма доказана. ■

3. Основной результат

Для произвольного полиномиального дерева Ф рассмотрим множество eq(Ф) полиномиальных деревьев вида, представленного на рис. 1, где Ф — произвольное полиномиальное дерево.

Рис. 1

Пусть т — размер дерева Ф. Заметим, что для любого £ € eq(Ф) размера п > т имеет место

Ре(Х1, ... ,Хп) = РФ(Х1, ... ,Хт)(1 + 2РФ(Ж1, ... ,Хп)).

Из этого следует, что диофантово уравнение Рц(х1,... , = 0 разрешимо в целых числах тогда и только тогда, когда разрешимо в целых числах диофантово уравнение Рф(Х1, ... ) = 0.

Лемма 3. Для любого полиномиального дерева Ф множество eq(Ф) не является пренебрежимым.

Доказательство. Пусть т — размер дерева Ф и п > т + 3. Любое дерево £ Е eq(Ф)ra имеет вид, приведённый на рис. 1. В нём произвольно может выбираться только поддерево Ф с числом листьев п — т — 3. Посчитаем, сколькими способами это можно сделать. Есть Сп_т_4 неразмеченных бинарных деревьев с п — т — 3 листьями. Внутренние п — т — 4 вершин можно пометить арифметическими операциями 3п_т_4 способами. Занумеруем листья дерева Ф слева направо. Из условия нормализованности следует, что лист поддерева Ф с номером к > т + 3 может быть помечен одной из к переменных £!,...,££ или константой 1, поэтому существует (т + 5)(т + 6)... (п + 1) разметок для листьев поддерева Ф. Итого имеем

|е^Ф)га| = 3п_т_4(т + 5)(т + 6)... (п + 1)С„_т_4. По лемме 1 |7П| = 3п_1(п + 1)!Сп_1. Следовательно,

МФ)„| 3п_т_4(т + 5)(т + 6)... (п + 1)С„_т_4

РпМФ))

|Г„| 3n-1(n +1)!Cra-i

1 Cra—m—4 1 1 . „ > --77T,-"TT --TT = const > 0.

3m+3(m + 4)! Cn-1 3m+3(m + 4)! 4m+3

Здесь использована лемма 2 для оценки отношения чисел Каталана. Таким образом, множество eq^) не является пренебрежимым. ■

Теперь докажем основной результат статьи.

Теорема 1. Проблема разрешимости диофантовых уравнений, представляемых в виде полиномиальных деревьев, не является генерически разрешимой.

Доказательство. Допустим, что существует генерический алгоритм A, определяющий разрешимость диофантовых уравнений, заданных полиномиальными деревьями, на некотором генерическом множестве полиномиальных деревьев. Используя этот алгоритм, построим алгоритм B, который будет определять разрешимость дио-фантовых уравнений для всех полиномиальных деревьев. Тем самым получим противоречие с неразрешимостью Десятой проблемы Гильберта.

Алгоритм B на дереве Ф работает следующим образом: перебирает элементы eq^) в порядке возрастания размера до тех пор, пока не получит дерево £ Е eq^), такое, что A(£) = ?. Ответ A(£) и будет правильным ответом для исходного дерева Ф.

То, что всегда найдётся такое дерево £, следует из того, что множество |Ф Е T : А(Ф) = ?} пренебрежимо, а множество eq^), по лемме 3, не является пренебрежимым. Теорема доказана. ■

ЛИТЕРАТУРА

1. KapovichI., Miasnikov A, Schupp P., and Shpilrain V. Generic-case complexity, decision problems in group theory and random walks //J. Algebra. 2003. V. 264. No. 2. P. 665-694.

2. Матиясевич Ю. В. Диофантовость перечислимых множеств // Доклады АН СССР. 1970. Т. 191. №2. С. 279-282.

3. Myasnikov A. and Romankov V. Diophantine cryptography in free metabelian groups: Theoretical base // Groups, Complexity, Cryptology. 2014. V.6. No. 2. P. 103-120.

4. Романьков В. А. Диофантова криптография на бесконечных группах // Прикладная дискретная математика. 2012. №2(16). С. 15-42.

5. Романьков В. А. Алгебраическая криптография. Омск: ОмГУ, 2013.

6. Rybalov A. Generic complexity of the Diophantine problem // Groups, Complexity, Cryptology. 2013. V.5. No. 1. P. 25-30.

7. Рыбалов А. О генерической неразрешимости Десятой проблемы Гильберта // Вестник Омского университета. 2011. №4. С. 19-22.

8. Рыбалов А. О генерической сложности проблемы разрешимости систем диофантовых уравнений в форме Сколема // Прикладная дискретная математика. 2017. №37. С. 100-106.

9. Кнут Д. Искусство программирования. М.: Вильямс, 2010. 720 с.

REFERENCES

1. KapovichI., Miasnikov A, Schupp P., and Shpilrain V. Generic-case complexity, decision problems in group theory and random walks. J. Algebra, 2003, vol. 264, no. 2, pp. 665-694.

2. Matiyasevich Yu. V. Diofantovost' perechislimykh mnozhestv [Diophantineity of enumerable sets]. Doklady Akademii Nauk USSR, 1970, vol. 191, no. 2, pp. 279-282. (in Russian)

3. Myasnikov A. and Romankov V. Diophantine cryptography in free metabelian groups: Theoretical base. Groups, Complexity, Cryptology, 2014, vol. 6, no. 2, pp. 103-120.

4. Roman'kov V. A. Diofantova kriptografiya na beskonechnykh gruppakh [Diophantine cryptography over infinite groups]. Prikladnaya Diskretnaya Matematika, 2012, no. 2 (16), pp. 15-42. (in Russian)

5. Roman'kov V. A. Algebraicheskaya Kriptografiya [Algebraic Cryptography]. Omsk, OmSU Publ., 2013. (in Russian)

6. Rybalov A. Generic complexity of the Diophantine problem. Groups, Complexity, Cryptology, 2013, vol.5, no. 1, pp. 25-30.

7. Rybalov A. O genericheskoy nerazreshimosti Desyatoy problemy Gil'berta [On generic undecidability of Hilbert Tenth problem]. Vestnik Omskogo Universiteta, 2011, no.4, pp. 19-22. (in Russian)

8. Rybalov A. O genericheskoy slozhnosti problemy razreshimosti sistem diofantovyh uravneniy v forme Skolema [On generic complexity of decidability problem for diophantine systems in the Skolem's form]. Prikladnaya Diskretnaya Matematika, 2017, no. 37, pp. 100-106. (in Russian)

9. Knuth D. E. The Art of Computer Programming. Reading, Massachusetts, Addison-Wesley, 1997.