Об одном подходе к аналоговой, цифровой и аналого-цифровой технологиям обработки Текст научной статьи по специальности «Математика»

УДК 681.3.25: 621.382

Ю. Д. Пальченков

ОБ ОДНОМ ПОДХОДЕ К АНАЛОГОВОЙ, ЦИФРОВОЙ И АНАЛОГО-ЦИФРОВОЙ ТЕХНОЛОГИЯМ ОБРАБОТКИ

Предлагается схема классификации и сравнения моделей аналоговых вычислений, структурная схема простой непрерывной машины, использующая динамическую систему и развитие теории (Ь, -систем.

Введение

В [1, 2] Поур-Эл представила теорию аналоговых вычислений, которая является одним из направлений теории вычислений, при помощи непрерывных динамических систем [3-6].

Аналоговый компьютер есть параллельно обрабатывающая машина, в которой переменные изменяются непрерывно. Отсюда прямо следует, что теория аналоговых вычислений подходит к нейрокомпьютерам. Параллелизм и аналоговые вычисления, отмеченные выше, являются также характерными чертами нейронных вычислений.

Предложенная в [1, 2] теория аналоговых вычислений, в которой время непрерывно и «программа компьютера» - дифференциальные уравнения и начальные условия, позволяет показать, что машина Тьюринга может вычислять функции, которые аналоговый компьютер не может, и что непрерывная динамическая система может вычислять функции, которые не может машина Тьюринга. Из работ [6-8], следует, что нейросеть есть компьютер, который является также непрерывно-временной динамической системой.

Разработка непрерывно-временной динамической системы, позволяющей создать аналого-цифровой (гибридный) компьютер для управления летательными аппаратами на основе аналоговой вычислимости, является актуальной, т.к. позволяет, с одной стороны, расширить область применения аналоговой обобщенной (универсальной) функции до решения обыкновенных дифференциальных уравнений и, с другой стороны, связать аналоговую обобщенную функцию с тьюринговой вычислимой, и непрерывную функцию аппроксимировать посредством аналогового компьютера (универсальный аппроксиматор). Все эти утверждения связаны с интервалом [0, ^) и подынтервалом [0,т), где т> 0.

Цель статьи заключается в разработке основ теории вычислимых функций действительных переменных (реально значимая функция у (х) - определение аналоговой обобщенной (универсальной) на интервале [0, ^) и х есть

независимая переменная, время), в их применении в проектировании гибридных систем и аналоговых нейронных сетей на основе непрерывно-временной динамической системы, а также в сравнении и классификации математических моделей аналоговых вычислений.

Первый путь исследования ассоциируем с универсальным аналоговым компьютером Шеннона (УАК) [4].

Второй путь исследования связан с представлением аналого-цифровой технологии обработки с помощью динамической системы. Основным момен-

том второго пути является определение понятия простой непрерывной машины (ПНМ) (стационарная динамическая система) и управляемой непрерывной машины (УНМ) (нестационарная динамическая система) [6, 9, 10].

Единой абстрактной математической моделью для описания трех типов машин (аналоговых, цифровых и аналого-цифровых) является {, Q)-машина.

Существенным в определении {,Q)-машины является введение понятия длины памяти. Интерпретируя память как аналоговую, можно формализовать АВМ для решения обыкновенных дифференциальных уравнений (ОДУ) с постоянными и непрерывными коэффициентами.

Представляя память как цифровую, можно прийти к машине Фон Неймана и их совокупности: машина потока данных и машина клеточных автоматов Тоффоли.

1. Сравнение моделей аналоговых вычислений

Схематичное изображение обрабатывающей компоненты нейросети приведено на рисунке 1.

-выход

Нейронная сеть

$

А

Время Связность Блоки

начальные значения

дискретное однонаправленная, дискретные/

непрерывное с обратной связью аналоговые

ресурсы добавочная Детерминистические/

размер, глубина симметричная стохастические

связность ... возбудительная

функция активации

вход

Рис. 1 Обрабатывающая компонента нейросети

Черный ящик обозначает обрабатывающую систему аналого-цифровой нейронной сети. ^ есть функция входа-выхода, вычисляемая посредством

одного шага активации нейронной сети. / {г) есть результирующая временная функция, полученная с помощью итерационных шагов активации, в случае нейронной сети с обратной связью.

Таким образом, актуальной проблемой является разработка математических моделей для определения ^ и /{г) в нейросети и методов взаимодействия информационных процессов аналого-цифровой вычислительной машины, которую целесообразно применять для решения задач, включающих: динамические операторы (системы обыкновенных дифференциальных

уравнений), статические операторы (алгебраические преобразования, связанные с обработкой входной информации, поступающей как в аналоговой, так и в цифровой форме), операторы нелинейных и тригонометрических преобразований, связанных с преобразованием пространственных координат и вычислением навигационных параметров управляемого объекта.

Цель I раздела статьи заключается в сравнении математических моделей аналоговых вычислений и классификации аналоговых вычислительных машин и функций, которые они генерируют.

Под непрерывной динамической системой обычно подразумевается n-мерная система обыкновенных дифференциальных уравнений вида [6-8]

d- = f (x), (1)

dt

где f : ^n ^ ^n - поле, определяющее систему.

Если поле f достаточно гладкое, тогда система (1) определяет уникальную траекторию, поток динамической системы в ^n, т.е. такую функцию Ф: ^n+1 ^^n , что для любого xе ^n, Ф(x,0) = x, и для всех те^

d

dt (Ф( x, t) )lt=т= f (Ф( x, т) ).

Иначе динамическую систему можно представить таким образом: у = K(x, у), где K - матрица рациональных функций.

Динамическая система может быть использована для моделирования машины Тьюринга. Лента машины Тьюринга сначала представляется как два противоположных стека и затем содержимое этих двух стеков кодируется каким-либо способом как два реальных числа, что ведет к представлению

2 2 состояния системы как точки в R (обычно заключенной в интервале [0,1] ).

Машину Тьюринга можно представить, как показано на рисунке 2.

Рис. 2 Представление машины Тьюринга тремя счетчиками Ь, Я и Ш

Головка машины имеет конечный набор S внутренних состояний:

Ь - счетчик для представления левой половины ленты;

Я - счетчик для представления правой половины ленты;

Ш - счетчик, работающий на сложение.

Мгновенная конфигурация машины Тьюринга представлена как пара целых чисел (хь , Хя ), кодирующая содержимое ленты.

Целые числа для кодирования дают некоторую устойчивость против небольших возмущений.

Тогда xl , xr еЖ и системные уравнения имеют вид

dxL г ,

—Г ~~xL + fL(xL, xR ); dt

dxR r ,

—— xR + fR (xL, xR ).

dt

Переменные состояния Xl и Xr не сохраняют свои «старые» значения, а вновь вычисленные значения сохраняются с помощью переменных состояния Xl, Xr е Ж , временной переменной те Ж и введением двух периодических функций «часов».

Каждую точку (x, у) в единичном квадрате свяжем (ассоциируем) с бинарными цифрами его координат x и у с правой и левой половинками ленты машины Тьюринга. Если лента - это ...a_2,a_i,a0,a^,o^,- -, то x = 0, a_i,a_2,... и у = 0, a0,a^,a2,... Тогда сдвигание головки ленты влево эквивалентно делению наполовину х, удвоению у и перемещению самой значимой цифры ao из _у в х.

Обзор моделей аналоговых вычислений начинаем с универсального аналогового компьютера (УАК), предложенного Шенноном. Считается, что этот УАК является изящной моделью аналогового вычисления в непрерывном времени [4, 5, 10].

УАК-схема представлена на рисунке 3. УАК вычисляет дифференциально-алгебраические функции (ДА). Функция f(x) является ДА, если ее производная удовлетворяет равенству

P (x, f (x), f (x),..., fk (x )) = 0

для некоторого многочлена P с рациональными коэффициентами. Не ДА функции называются трансцендентными.

- sini

Рис. 3 УАК К. Шеннона, который вычисляет sin t

ДА функции в свою очередь называются иррационально алгебраическими (ИА) и рациональными алгебраическими (РЦ). К ИА относятся хт, где т - рациональная дробь, решения алгебраического уравнения, выражен-

ное через параметр. К РЦ относятся частные от деления многочленов; целые

a, x, x2 и другие многочлены. Трансцендентные функции реализуются расширенным аналоговым компьютером (РАК), предложенным Л. Рубелем [3].

Основным вопросом вычислительной теории является вопрос о том, закрывается ли итерация УАК. Из функции f(x) получается функция

F(x,t) = f ^ 1 (x), т.е. f применяется к x t раз для t е N .

С практической точки зрения для УАК не ясен вопрос реализации неравенств и операций дифференцирования. К. Шеннон дал определение УАК вычислимой функции у: Кm ^ К от m независимых переменных x = (Xi,..., xm). В 1974 г. это понятие уточнено M. B. Pour-El [2] и выглядит следующим образом (определение (Шеннон, Поур-Ел)): реально-значимая функция у: Кm ^ К от m-независимых переменных x = (Xi,..., xm) есть УАК-вычислимая на

замкнутом подмножестве D из Кm, если там существует реально-значимая функция у(x) = у1(x),..., уп(x) для некоторого п с начальным условием

у (x0 ) = у0 , где x0 е D.

Векторная функция у: Кm ^ Кk , для k > 1 - УАК-вычислимая, если УАК-вычислимой является каждая из ее компонент. Здесь у1,у2,..., уп представляют внутренние состояния компьютера, где у = у1 - выходная, а у2,..., уп - дополнительные переменные.

Шеннон, Поур-Эл, Липшиц, Рубель доказали, что УАК-вычислимые функции одной переменной точно совпадают с ДА-функциями. На рисунке 4 представлено разбиение стандартной теории рекурсивных функций на три основные части.

Рис. 4 Разбиение стандартной теории рекурсивных функций на три основные части

На рисунке 5 изображены аналоговые схемы, реализующие дифференциальные уравнения; операции сложения и умножения; неравенства и итерации.

Рис. 5 Модули, реализующие аналоговые схемы

На рисунке 6 изображена УАК-схема для определения интегрирования, предложенная К. Муром [5].

Рис. 6 УАК-схема для определения интегрирования, используемая К. Муром, где Н(х0) = f (х), ёуН(х, у) = g(х, у, Н)

УАК-схему К. Шеннона, УАК-схему К. Мура обобщает простая непрерывная машина (ПНМ) Б. Кониковской, представленная на рисунке 7.

ПНМ Б. Кониковской задается условиями:

1. (т>0)л(У/оеОМ)(((()|[0;т) = ^)

(т = 0) л (УхеБМ )((м (х))(0) = х);

2. (Vf е ЯМ ) > 0) е ЯМ).

ПНМ позволяет реализовать операции итерации, неравенства и дифференциальные уравнения.

Рис. 7 Структурная схема простой непрерывной машины Б. Кониковской, использующая динамическую систему

Суммарные результаты представлены в виде соотношений между вычислимыми функциями класса И, класса Я и класса N - Я. Соотношения рекурсивных функций изображены на рисунке 8.

Соотношение рекурсивных функций

Дискретные вычислимые функции класса N

Начальные операции

Композиция

Итерация -

Ограниченная

рекурсия

Ограниченное

произведение

Ограниченная

минимизация

Примитивная

рекурсия

Примитивная

рекурсия

Ограниченная

сумма

Минимизация или нуль-нахождение

X

Базовые функции

Нуль-функция 0^ ^ N 0(х )= 0

Множество проекций иЩ,...,иП, где иП : N ^ N

Бинарное умножение X: N2 ^ N

Последовательная функция 5 : N ^ N 5 (х) = х +1

Бинарная сумма +: N2 ^ N

Непрерывные вычислимые функции класса Я

УАК + ф -

вычислимые

функции

Я - рекурсивные функции

I0 к -

вычислимые

функции

УАК -вычислимые функции

УАК к -вычислимые функции

Вычислимые функции аналитических и непрерывных систем

Т - вычислимые функции -

(г, 0) - процессы -

(2 ,й )-вычислимые -функции

Рис. 8 Определяющие соотношения рекурсивных функций класса И, класса Я и класса непрерывных динамических систем

2. Теоретические исследования основ современных технологий обработки аналого-цифровой информации

Повышения скорости обработки информации можно добиться только при совместном исследовании структуры решаемых задач, алгоритмов и архитектуры вычислительных систем.

Наш подход основывается на утверждении А. Н. Колмогорова и

В. А. Успенского, предпринявших в 1958 г. попытку расширить понятие алгоритма и пришедших к выводу, что самое общее понятие алгоритма связывается с определением вычислимой функции, аргументами и значениями которой являются натуральные числа. В дальнейших рассуждениях будем использовать т-ВФ, (, Q)-ВФ, (Ж, -ВФ, существенным в определении ко-

торых является то, что аргументы и значения функций - действительные переменные [1, 2, 5, 9, 11].

Разработка основ современных технологий обработки аналого-цифровой информации на основе (, Q) -машины и ее обобщение на многовходовый случай (Ж, -системы является актуальной, т.к. позволяет, с одной сто-

роны, расширить использование обрабатывающей компоненты гибридного компьютера в нейросети, учитывая, что она есть алгоритм (или множество обыкновенных дифференциальных уравнений), с другой - связать гибридный процессор с непрерывной динамической системой и тем самым расширить функции, генерируемые гибридным процессором.

Цель второго раздела статьи заключается в теоретическом исследовании основ современных технологий обработки аналого-цифровой информации посредством (, Q)-машин и многовходового использования таких машин в нейросетях.

Представим как начальный отрезок непрерывного времени Qk на ленте с номером к = 1, 2,..., п .

Если задано значение функции fk на начальном отрезке Хк , то можно однозначно определить продолжение этой функции на всем непрерывном отрезке времени Qk . Напомним, что в математике рекурсией называется способ описания функции или процессов через самих себя.

Однозначное продолжение задает оператор М, и для одной к-й ленты

Более точно для п лент начальные отрезки (начальная информация) можно записать:

начальная информация

где 5 - произвольное, но в дальнейшем фиксированное, непустое множество. Всю начальную информацию обозначим как / = (/1,..., /п), тогда

М (/)|ж = /

для любой / є БЫ , где М - система, М (/) - процесс и система м (/ )=(, /2,..., /),) - декартово произведение множеств 2і,..., 2п .

Набор п готовых лент:

Л: Ql ^ ^;

Ц: Q2 ^ ^;

/п: ° ^ 5;

Q0 = Q1 IQ2 I... I Qn - пересечение множеств; <ф = Q1 х Q2 х... х Qn - декартово произведение, но Ql, Q2,..., Qn могут быть разными.

Вычисление системы из п лент:

ф f ( ) = (/ М ), М ( ),..., /п ( )) для любых г е Qо.

Процесс рассматривается как п готовых лент.

Все начальные отрезки f = (/1,...,/п) составляют множество БМ. Продолжение функций ^ на множестве Qi обозначим ЯМ.

3. Развитие теории (Ж, Q) -систем

(Ж, -системой М: БМ ^ ЯМ называется такая система, в кото-

рой выполняются два условия:

1) однозначное продолжение

У/ е БМ, М ^ )| □ = / ;

2) если f е ЯМ , то после сдвига f влево

/новая = (/( + а), /2 (г2 + а),..., /п (гп + а )),

тогда fновая е ЯМ, ае ^, ае Q2,..., ае Qn о ае 2о, здесь Qо -общее время для всех лент.

Теоретическое обоснование и определение (Ж, -систем для исследо-

вания в многовходовых вычислительных системах и переход к непрерывным динамическим системам позволит осуществить использование методики проектирования гибридного процессора для проектирования аналоговых нейронных сетей. Разработка обрабатывающей компоненты нейросети является актуальной и позволяет расширить и связать методики проектирования гибридного процессора и нейрокомпьютера.

Цель третьего раздела статьи заключается в разработке теоретического обоснования использования многовходовых (Ж, -систем для проектирова-

ния аналоговых нейросистем и гибридных процессоров.

Определение [4]. Отображение f е FQ называется (Ж, -процессом,

если и только если существует (Ж, -система М, такая, что f е ЯМ. Здесь

FQ - множество отображений вида f : Q ^ 5п . Если f есть (Ж, Q) -процесс, то верна одна из двух ситуаций:

52

1) начиная с некоторого момента времени f - периодическая функция (рис. 9,а);

2) если не реализуется первая ситуация, то обязательна вторая ситуация и f будет Х-инъективной (рис. 9,б).

Итак, (Ж, 0) -система - это оператор М, который однозначно продолжает начальные значения на все ленты; (2, Q) -машина - это (Ж, 0) -система в случае одной ленты; (Ж, (0) -процесс - результат применения (Ж, 0) -системы для получения п готовых лент; (Ж, -вычисление, результат работы

(Ж, 0) -системы, рассматриваемый в каждый (один) момент времени для всех п лент одновременно; (Ж, 0) -вычисление совпадает с (Ж, 0) -процессом для (2, Q) -машины (т.к. лента одна).

Для (2,Q)-машины лента будет одна. Тогда для аналоговой технологии обработки временная ось может быть представлена как произвольное множество точек Q, равное Я + или N0, где Я + - множество положительных реальных чисел; N0 - множество целых неотрицательных чисел; 2 -произвольное множество Q , т.е. 2 с Q .

С учетом сказанного на данной модели можно исследовать несколько типов машин. Так, если:

2 = {0} и Q = N0, то Мі =({0}, N0);

2 = {0,1,2,..., к -1} и Q = N0, то М2 =({0,1,2,..., к -1},N0);

2 = {0} и Q = Я+, то Мз =({0}, Я+);

Z = [0, т) и Q = R+, то М4 =|[0, т), R + ).

Первые два класса машин М^ М2 являются дискретными, а М3, М4 -аналоговыми. М1 описывает тип классических цифровых машин Фон Неймана (МФН) с одним счетчиком команд l и регистром команд г. М2 - совокупность МФН с множеством счетчиков команд l^,...,ln и множеством регистров команд Г1,..., Г2.

М3, М4 служат для представления аналоговых машин для решения линейных ОДУ с постоянными и переменными коэффициентами.

Заключение

Основным результатом статьи является теоретическое обоснование аналоговой, цифровой и аналого-цифровой технологии обработки и разработка математических моделей гибридных процессоров и обрабатывающей компоненты нейросети.

Научная новизна статьи состоит в следующем:

- разработана и исследована структурная схема и алгоритм работы простой непрерывной машины на основе непрерывно-временной динамической системы, позволяющие обобщить УАК Шеннона и УАК Мура.

- разработана теория многовходовых (Z,Q) -систем для проектирования гибридного процессора и обрабатывающей компоненты нейросети. С вычислительной точки зрения обрабатывающая компонента нейросети есть множество обыкновенных дифференциальных уравнений и начальных условий, которые представляют программу работы нейрокомпьютера.

Предлагаемый подход позволяет расширить классы решаемых задач, что подтверждается приведенными в статье примерами моделирования машины Тьюринга, соотношениями между вычислительными функциями класса N, класса R и класса N-R, а также преобразованием (Z, Q) -системы при определенной интерпретации в машину Неймана и аналоговые машины.

Список литературы

1. Pour-El, M. B. The Mathematical Theory of the Analog Computer. In Mathematical Perspectives on Neural Networks / M. B. Pour-El ; edited by P. Smolensky, M. C. Mozer, D. E. Rumelhart. - 1996. - Р. 225-241.

2. Pour-El, M. B. Abstract computability and its relations to the general purpose analog computer / M. B. Pour-El // Trans. Am. Math. Soc. - 1974. - № 199. - Р. 1-28.

3. Rubel, L. A. The extended analog computer. Advances in Applied Mathematics / L. A. Rubel. - 1993. - № 14. - Р. 39-50.

4. Шеннон, К. Математическая теория дифференциального анализатора / К. Шеннон // Работы по теории информации и кибернетике / пер. с англ. - М. : Мир, 1963. -С. 709-728.

5. Moore, C. Recursion Theory on the Reals and Continuous - time computation /

C. Moore // Theoret. Comput. Sci. - 1996. - № 162. - Р. 24-44.

6. Hirsch, M. W. Dynamiacl Systems In Mathematical Perspectives on Neural Networks / M. W. Hirsch ; edited by P. Smolensky, M. C. Mozer, D. E. Rumelhart. - 1996. -Р. 275-320.

7. Mycka Jerzy. The computational power of continuous dynamic systems / Mycka Jerzy, Costa Jose Felix. - 2005. - V. 3354. - LNCS. - Р. 163-174.

8. Siegelmann, H. T. Analog computation with dynamical systems / H. T. Siegelmann, S. Fishman // Physica D. - 1998. - V. 120. - Р. 214-235.

9. Konikowska, B. Continuous Machines, Information and Control / B. Konikowska. -1973. - V. 22. - Р. 353-372.

10. Burnez, O. The General Purpose Analog Computer and Computable Analysis are two equivalent paradigms of analog computation / O. Burnez, M. L. Campagnolo,

D. S. Graca, E. Hainry // J. Y. Cai, S. B. Cooper and A. Li, editors, Theory and Applications of Models of Computation TAMC’06, LNCS 3959. - 2006. - Р. 631-643. -Springer - Verlag.