Аппроксимация аналоговых вычислительных машин дискретными машинами Тьюринга Текст научной статьи по специальности «Математика»

УДК 681.3.25: 621.382

Ю. Д. Пальченков

АППРОКСИМАЦИЯ АНАЛОГОВЫХ ВЫЧИСЛИТЕЛЬНЫХ МАШИН ДИСКРЕТНЫМИ МАШИНАМИ ТЬЮРИНГА

Предлагается представление машины Тьюринга с помощью обобщенного сдвига (GS), в качестве аналоговой вычислительной машины используется простая непрерывная машина, описанная стационарной динамической системой, и сформулирован подход к аппроксимации.

Введение

В настоящее время можно выделить три уровня изучения аналоговых вычислений, или вычислений над действительными числами. Первый уровень - физико-инженерный, на котором изучаются аналоговые машины. Второй - абстрактный уровень, на нем обсуждаются математические модели аналоговых машин, и третий уровень - теоретический, который исследует вычислимые функции действительных переменных, где используются модели, не обязательно имеющие связь с аналоговыми машинами [1, 2]. Деление на три уровня не является строгим, поэтому некоторые модели могут быть отнесены к разным уровням.

Вопрос аппроксимации аналоговых машин впервые был рассмотрен Б. Кониковской в работе [3]. Однако в ней изучалась аппроксимация аналоговых машин цифровыми интегрирующими машинами.

Из предыдущих работ автором были выделены две аналоговые машины: универсальная аналоговая машина Шеннона (УАВМ), и простая и управляемая машина Б. Кониковской. Обе модели машины основаны на полиномиальных дифференциальных уравнениях и вычисляют дифференциальноалгебраические функции (ДАФ), однако машина Б. Кониковской в качестве модели использует вычислимые функции действительных переменных (ВФДП), которые названы т-вычислимыми, (Z, -вычислимыми функция-

ми. В связи с этим для аппроксимации выбираем аналоговую машину Б. Кониковской.

В качестве универсальных аппроксиматоров можно выбрать многослойные перцептронные сети (MLP) - нейронные сети с радиальнобазисными функциями передачи нейронов (RBF), нейронные сети с линией задержки (TDNN), нечеткие нейронные сети Мамдани-Заде и др. [4].

Разработка математического описания машины Тьюринга и простой непрерывной машины в виде отображения обобщенного сдвига, а в будущем использование в качестве универсальных аппроксиматоров нейронных и нечетких сетей, является актуальной задачей, т.к. позволяет с одной стороны расширить область применения непрерывно-временной динамической системы для дискретной машины Тьюринга и непрерывной (аналоговой) машины Коников-ской, с другой - разработать единый подход к аппроксимации простых непрерывных машин с помощью обрабатывающей компоненты нейросетей.

Цель статьи заключается в разработке единой теории аппроксимации простой непрерывной машины машиной Тьюринга и обрабатывающей компонентой нейросети.

1 Представление машины Тьюринга с помощью обобщенного сдвига

Представление машины Тьюринга с помощью дискретно-временной динамической системы, с одной стороны, позволяет расширить область применения для аппроксимации машины Тьюринга и обрабатывающей компоненты нейросети, с другой - определение и описание аналоговой общности (универсальности) и изучение отношений между ней и вычислимостью посредством цифровой вычислительной машины.

В первом разделе статьи разработан общий подход к аппроксимации аналоговой общности (универсальности) тьюринговой вычислимостью.

В качестве машины Тьюринга (МТ) можно взять описание в виде функциональной схемы, предложенной в работах [5-7].

Рассмотрим следующее отображение обобщенного сдвига (08):

Ф : а ^ (а) (а © О (а)),

где Е - отображение из а в целые числа (-1; +1); О - отображение из а в конечные последовательности.

Сначала конечное число ячеек преобразуется из а в последовательность

О(а), затем она сдвигается влево или вправо на Е(а) и с: аг- ^ аг+1.

Далее требуем, чтобы Е и О зависели от конечного числа клеток в а. Будем называть эту область доменом зависимости (БоБ). Для примера возьмем в качестве БоБ три ячейки, расположенные вокруг нуля. Если БоБ слишком большое, то процесс выходит из-под контроля.

Рассмотрим следующий обобщенный сдвиг (табл. 1), который назовем Ф.

Таблица 1

ац. ао а Буквенное обозначение О

0. 0 0 О -1 0. 1 1

0. 0 1 Е +1 1. 0 1

0. 1 0 А +1 1. 1 1

0. 1 1 С -1 0. 0 0

1. 0 0 Н +1 0. 0 1

1. 0 1 Е -1 0. 1 0

1. 1 0 В +1 0. 1 1

1. 1 1 Б -1 0. 0 1

Для того чтобы проиллюстрировать динамику, покажем, что последовательность (0) 1. 1 0 (0) = ... 0 0 0 1. 1 0 0 0 ... является фиксированной. Значение БоБ равно 1. 1 0. Из табл. 1 видно, что БоБ изменяется на О(а) = 0. 1 1 и затем сдвигается влево, т.к. Е = +1. В результате приходим в исходную последовательность а = 1. 1 0.

Каждую точку (х, у) в единичном квадрате свяжем с бинарными цифрами его координат х и у с правой и левой половинками ленты машины Тьюринга. Если лента - это ... а-2, а_ь а0, аь а2, ., то х = 0, а_ь а-2, ... и у = 0, а0, аь а2,... Тогда сдвигание головки влево эквивалентно делению наполовину х, удвоению у и перемещению самой значимой цифры а0 из у в х, получаем у = 0.а1а2, ., и х = 0.а0а-1а-2.

Это обыкновенное преобразование Бейкера в единичном квадрате, хорошо известное в эргодической теории (рис. 1).

В

А

А

В

Рис. 1 Отображение Бейкера (Backers)

По первому способу можно записать, что на ленте путем добавления констант к х и y можно представить внутреннее состояние МТ либо при помощи конечного числа отдельных квадратов в плоскости, либо путем поглощения состояния МТ в ленту и прочитывания нескольких участков одновременно. По другому способу любая МТ может быть превращена в кусочнолинейное преобразование на плоскости с конечным числом прямоугольных компонент, каждая из которых - родственная трансформация [5-7].

Трансформацию Бейкера запишем:

F (х, y) = (2 x modi, ( + ((2 )0(x “ X)

удваивается координата х и уменьшается наполовину координата у и перемещается самая значимая цифра х к у.

где

Если 7-й прямоугольник равен xji , xi2 ] х [y^, Уі2 J,

F (x-y ) = 7=10[ Xi,X,2_ ] (x )0[.V,,.V, ] (y У F ( y )-

0[a,b](x ) = 0(x _ a )0(b _ x ) и Fi (X, У ) = (°ix + bi, сіУ + di ) •

то можно записать:

Пользуясь табл. 1 и приведенными формулами, можно показать, что обобщенный сдвиг эквивалентен кусочно-линейному отображению плоскости, в которой сдвиг влево и вправо относится к растяжению в направлениях х и у соответственно (рис. 2).

(0) 1. 1 (0)

0. 1 0 1. 1 0

А B

0. 1 1 1. 1 1

C D

0. 0 1 1. 0 1

E F

0. 0 0 1. 0 0

G H

вправо

H \ а A в'

G*

• а

C

(1) 0. 1 (0)

\ влево

Рис. 2 Отображение на плоскости эквивалентно обобщенному сдвигу, пример которого дан в табл. 1

На рис. 2 показаны две фиксированные точки. Отображение построено следующим образом: рассматриваем блок А, где БоБ - это 0. 1 0. Функция

С(а) заменяет его на 1. 1 1. Каждая замененная ячейка соответствует отражению, и мы заканчиваем вверх ногами в Б. Затем, т.к. Е = +1, используем подковообразное отображение один раз для сдвига влево (если Е = -1 используем инверсию) и оказываемся в показанном образе А’.

Вместо сдвига всей последовательности мы сдвигаем точку в десятичной дроби, оставляя большую часть последовательности неизменной. Таким образом, область вне пределов БоБ является стационарной. Фиксированная точка, обсужденная выше, двигается вправо каждый шаг, т.к. последовательность вокруг нее сдвигается влево.

Спектр периодических точек является очень нерегулярным и показан в табл. 2.

Таблица 2

X Т 8Т

(0) 1. 1 (0) 1 (фиксированное) +1

(1). 01 (0) 1 (фиксированное) -1

(0) 10. 101 (0) 7 -1

(0) 1 0. 100 (1) 7 -1

(10) 0. 1000 (0) 16 2

(10й) 0. 10й + 2(10й) 15 + п й + 1 (для всех й > 1)

В табл. 2 Т - период, БТ - общее количество сдвигов влево или вправо за время курса (направления) орбиты.

При моделировании эквивалентного отображения плоскости, показанного на рис. 2, орбиты появляются для заполнения всей площади. Тогда этот определенный пример имеет свойство быть эргодическим. Однако дивергенция (расхождение) близких начальных значений идет медленнее, чем по экспоненциальному закону. Это соответствует нерегулярному движению БоБ влево или вправо. Перемещения соответствуют удвоению одного направления или другого.

Расстояние между ближайшими точками растет как

= 2$,

г

где $ = ^¥(г (х- общее число сдвигов после г числа шагов.

г=0

Так как растет медленнее, чем линейно с г, отображение не является преувеличенным и дивергенция (расхождение) является почти экспоненциальной. Возможны примеры, где $ растет логарифмически с г, а й растет по степенному закону. Чтобы понять подобные отображения, необходимо соединить их с машинами Тьюринга.

2 Представление простой непрерывной машины стационарной динамической системой

В [8, 9] Поур-Эл представила теорию аналоговых вычислений с помощью непрерывных динамических систем. Параллелизм и аналоговая вычислимость есть характерные черты нейронных вычислений. Взаимосвязь между аналоговой вычислимостью, обрабатывающей компонентой нейросети и ма-

шиной Тьюрига является актуальной, т.к. позволяет, с одной стороны, расширить область применения аналоговой вычислимости, с другой - связать аналоговую вычислимость с тьюринговой вычислимой функцией и непрерывную функцию аппроксимировать посредством универсального аналогового компьютера. Во втором разделе статьи простая непрерывная машина представлена непрерывно-временной динамической системой.

Попытаемся использовать сдвиг для определения непрерывной машины Б. Кониковской. Будем применять для машины Б. Кониковской понятие динамической системы и вычислимые функции действительных переменных [3, 10].

Под простой непрерывной машиной памяти длиной т будем понимать каждый оператор М е Ат, такой что

где ЯМ - множество вычислений машины М; каждый элемент этого множества называется вычислением М.

Пусть X- произвольное множество иX = Я. Тогда

Основным характерным свойством аналоговых вычислений является однозначное продолжение функций.

Первое условие определения простой машины означает проблему начальных значений или задачу Коши (Initial Value Problem (IVP), т.е. M назна-

Второе условие определения простой машины указывает на то, что если / есть вычисление М, то для каждого а > 0 функция /а, полученная из / сдвиганием ее влево на а, есть также вычисление М.

(т > 0) а (V/о є DM)(M( ) = /) V v(t = 0) а(Vxє DM)((M(x))(0) = x); (V/ є RM )(Va > 0 ) є RM),

(2)

(1)

и для каждого т> 0 Зт = X[0,т); Ат - множество всех частичных функций:

и для каждого т

A: Зт —— З.

Элементы Ат, где х> 0 , называются операторами.

Операция сдвига (*) определяется следующим образом:

1) если /: [а, а + т)^ X и а > 0, х>0, тогда / еЗт и f () = / (а + і)

для 0 < t < т ;

2) если f: [a,^) — X , где a > 0, тогда / єЗ и /* (t) = /(a +1) для

t > 0.

чает каждой функции /0 є DM, определенной на [0, т), одно ее продолжение на [0,го).

Если М является простой непрерывной машиной, тогда для каждой /е ЯМ и каждого а > 0 , /а а+т е БМ и М ( а+т ) = /а . Простая непрерывная машина может стартовать из произвольного сегмента /а а+т вычисления / а не только из начального сегмента /о х . Можно также доказать, что значения каждого вычисления / машины М на произвольном интервале формы [х,^ , где х >х, однозначно определены через значения/на интервале

[ х -х, х). Отметим, что отношение между /х и /х-хх не зависит от х, и

/х =(М (/х-х,х))

[хго) . Грубо говоря, это означает, что метод вычисления /х

на основе /х-хх независим от х. Если М простая непрерывная машина,

/, £ е ЯМ , a,Ъ > 0 и /а а+х = ёЪ,Ъ+х, то /а = ёЪ .

Это означает, что два вычисления /, £ машины М на интервале [а,а + х) и [Ъ,Ъ + х) соответственно равны, тогда также соответственно равны значения этих вычислений на интервале [а, го) и [Ъ, го) (рис. 3).

Рис. 3 Представление т-вычислимой функции / (х) на интервале [0;®) в виде периодической с периодом (Ъ - а)

Определение 1. Функция / еЗ будет называться т-вычислимой, если существует простая непрерывная машина М, такая, что / есть вычисление М, т. е. / е ЯМ .

Функция /еЗ т-вычислимая, если и только если удовлетворяет следующему условию:

/аЪ > 0)((Л,а+х = (ъ+х) ) )/а = /Ъ )) . (3)

Это условие эквивалентно:

(V0 < а < Ъ)(/,а+х = Дъ+т) ^ (Ух > а)((х) = /(Ъ - а + х))) . (4)

Базируясь на условиях (3), (4), можно доказать, что следующие функции есть т-вычислимые на [0,го) ;

xn, ex ,ln (x + c), tfx, sin x, cos x, sinh x, cosh x, arctg x,

где n e N и c > 0 .

Множество F сЗ называется т-вычислимым если и только если существует простая непрерывная машина М, такая что есть множество КМ, т.е. F = RM .

Можно доказать, что в случае X=R следующие множества есть т-вычислимые для каждого т> 0 :

1) множество всех алгебраических полиномов в форме

ao + aix + ... + anxn,

где ne N и ao,ai,...,an e R;

2) множество всех тригонометрических полиномов в форме

n

ao + ^ ( cos ix + b¡ sin ix),

i=1

где n e N, и ao,..., an, bo,..., bn e R ;

3) множество всех рациональных функций в форме —, где и, w есть

w

алгебраические полиномы и w (x) Ф 0 для x > 0;

4) множество всех целых функций в форме

n=0

anxn

где an e R для n = 0, 1, 2, ...

3 Аппроксимация простой непрерывной машины

В [3, 8-10] представлена теория аналоговых вычислений, с помощью которой можно генерировать реально-значимую функцию у (х) на интервале

хе [0,го), где х - независимая переменная, время, и применять теорию в проектировании гибридных систем и аналоговых нейронных сетей на основе непрерывно-временной динамической системы.

Цель раздела 3 статьи заключается в аппроксимации простой непрерывной машины, генерирующей функции, непрерывные на отрезке [0,а] и

равные нулю на отрезке [а,го).

Рассмотрим произвольное нормированное пространство Т сЗ и обозначим через || • || норму на Т [3].

Пусть F, О с Т, тогда:

1. F есть 8-содержимое О, в символах F с О, если и только если для

е

каждого / е F существует £ е О такое, что || / - ё ||< е .

2. F есть 8-равное О в символах F = О , если и только если F с О и О=F .

е ее

3. ^ есть приближенно содержащееся в О в символах ^с О, если и только если ^ с О для каждого положительного 8.

4. ^ есть приближенно равное О в символах ^ = О, если и только если

Назовем ^ с Т приближенным т-вычислимым в нормированном пространстве Т, если и только если существует простая непрерывная машина М такая, что ^ = ЯМ .

Функция / є Т будет называться приближенно т-вычислимой в нормированном пространстве Т, если и только если существует простая непрерывная машина М такая, что / є ЯМ .

т-аппроксимируемые реальные функции для Т=Я будут такие, если Т сЗ будет нормированным пространством с нормой || • ||.

Функция / є Т будет называться т-аппроксимируемой в Т, если и только если существует последовательность /о,А,... т-вычислимой в Т, которые сходятся к /.

Пусть для любого а > О, С (а) - векторное пространство, содержащее все функции в З, которые есть непрерывные на [О,а] и равны О на [а,^) . Введем на С (а) норму:

є

є

|| А||= зир /(х).

~&п Н-х, если ~&п константа,

2па

для х є Я и п є N . Тогда wn есть многочлен, wn не константа и

Отсюда /(х)- ^п (х)|< — для 0 < х < а и п е N . Так как / (оа) есть Лебег-интегрируемое на (0, А), то существуют полиномы #, такие что

А

Пусть V определим как

Ф(х), если Ф не константа,

(х ) =

£

Ч — х, если Ф константа,

2 А

для х є Я . Тогда V многочлен, V не константа и

А А

ГІФ- V < Г £_ хёх = — .

1 і 2а2 4

0 0 2А

А

Отсюда имеем / - V < — .

0

є

2

Пусть g |[0, А] = V|[0, А] и ^*а +м) = 0. g есть т-вычисление. Более того,

А +^

II/ - g| = Ц / - ^=л / - V + Ц А < 2+1=£■

0 0 А

В качестве примера рассмотрим последовательность, образованную при случайном искажении циклического кода. Пусть задан циклический код БЧХ длины 15 с кодовым расстоянием, равным 8, т.е. код может обнаруживать ошибки кратности 7 и исправлять ошибки кратности 6.

Порождающий многочлен такого кода определяется как наименьшее общее кратное неприводимых многочленов, построенных над полем Галуа GF(2m), где т - число информационных символов в кодовом слове.

Из соотношения п = 2т - 1 находим число информационных элементов,

т = 4.

По теореме кодов БЧХ находим неприводимые многочлены над полем с числом членов равным 2 и порождающий, он же проверочный, многочлен степени 10:

g(x) = х10 + х9 + х8 + х6 + х4 + х3 +х0.

Информационные члены кодового слова имеют степени 11-14.

Кодовые слова, отвечающие условию делимости на проверочный многочлен, образуют алфавит кодовых комбинаций, представляющих собой, за исключением нулевого слова, циклический сдвиг одной последовательности. Они представлены в табл. 3.

При обычном алгоритме декодирования каждая принятая кодовая комбинация делится на проверочный многочлен. Деление без остатка указывает на прием без ошибок, при этом информационные символы отделяются и поступают на обычный декодер. Появление остатка образует многочлен ошибок, который вычитается из принятого и тем исправляет ошибки, после чего информационные символы декодируются. Таким образом, процесс декодирования требует значительного числа тактов ЦВМ.

Подход к обработке последовательностей, изложенный выше, позволяет выполнить параллельное поэлементное сравнение принятой кодовой ком-

бинации с таблицей разрешенных в данной системе кодов, идентифицировать принятую комбинацию по минимальному кодовому расстоянию и вычислить многочлен ошибок с меньшими затратами машинного времени. В этом плане работа представляет практический интерес.

Таблица 3

№ Информационные символы. Проверочные символы Примечания

0 000000000000000 Нулевое слово.

1 000111101011001 1 позиция циклического сдвига

2 001000111101011 13 поз.

3 001111010110010 2 поз.

4 010001111010110 14 поз.

5 010110010001111 8 поз.

6 011001000111101 10 поз.

7 011110101100100 3 поз.

8 100011110101100 15 поз.

9 100100011110101 12 поз.

10 101011001000111 7 поз.

11 101100100011110 9 поз.

12 110010001111010 11 поз.

13 110101100100011 6 поз.

14 111010110010001 5 поз.

15 111101011001000 4 поз.

Непредсказуемость последовательности кодовых слов определяется, с одной стороны, действием ошибок в дискретном канале связи, которые исправляются при декодировании, с другой стороны - статистическими свойствами источника, которые определяются либо матрицей переходов в случае дискретного источника, либо законом распределения аналогового сигнала. Связь между этими разновидностями сигналов определяется алгоритмом кодера источника информации.

Таким образом, общая структура дискретного канала связи может быть представлена как частный случай аппроксимации аналоговой машины машиной Тьюринга.

Заключение

Основным результатом статьи является создание научных основ аппроксимации аналоговых машин машиной Тьюринга на основе непрерывновременной динамической системы.

Научная новизна статьи состоит в следующем. Для описания работы машины Тьюринга используется отображение в виде обобщенного сдвига. Простая непрерывная машина представляется стационарной динамической системой, которая инвариантна относительно сдвигов и генерирует периодические функции, которые аппроксимируются машинами Тьюринга.

Практический интерес статьи представлен в виде примера, в котором общая структура дискретного канала связи представлена как частный случай аппроксимации аналоговой машины машиной Тьюринга.

Список литературы

1. Burnez, O. The General Purpose Analog Computer and Computable Analysis two equivalent paradigms of analog computation / O. Burnez, M. L. Campagnolo, D. S., Graca E. Hainry // Y. Cai, S. B. Cooper and A. Li, editors, theory and Applications of Models of Computation TAMC’06, LNCS 3959. - Springer-Vorlag, 2006. - Р. 631643.

2. Burnez, O. Polynomial differential equations compute all real computable functions / O. Burnez, M. L. Campagnolo, D. S. Graca, E. Hainry // J. Complexity. - 2007. - 25 p.

3. Konikowska, B. Approximation Properties of Continuous Machines /

B Konikowska // Bull. Acad. Polon. Sci. - 1972. - V. 20. - № 26. - P. 879-886. - (Ser.

Sci. Math. Astronom. Phys.).

4. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы : пер. с польск. И. Д. Рудинского / Д. Рутковская, М. Пилиньский, Л. Рутковский. -М. : Горячая линия - Телеком, 2006. - 452 с.

5. Moore, C. Unpredictability and indecidability in dynamical systems / C. Moore // Phys. Rev. Lett. 1990. - V. 64. - № 20. - P. 2354-2357.

6. Moore, C. Recursion Theory on the Reals and Continuous-time computation /

C. Moore // Theoret. Comput. Sci. - 1996. - № 162. - Р. 23-44.

7. Moore, C. Finite-Dimensional Analog Computers: Flows, Maps, and Recurrent Neural Networks / C. Moore // First International Conference in Unconventional Models of Computation - UMC’98 / inv. C. Calude, J. Casti, M. Dinneen (Eds.). - 1998. -Springer. - P. 59-71.

8. Pour-El, M. B. Abstract computability and its relations to the general purpose analog computer / M. B. Pour-El // Trans. Amer. Math. Soc. - 1974. - № 199. - Р. 1-28.

9. Pour-El, M. B. The Mathematical Theory of the Analog Computer. In Mathematical Perspectives on Neural Networks / M. B. Pour-El // Edited by P. Smolensky, M. C. Mozer, D. E. Rumelhart. - 1996. - P. 225-241.

10. Konikowska, B. Approach to the theory of continuous (analog) computation. Proceeding of International Symposium and Summer School on Mathematical Foundation of Computer Science / B. Konikowska // Warsaw, Poland, Jablonna. - 1972. - August 21-27. - 17 р. ; Polish. Acad. Sci., 1973.