Вычислимые функции действительных переменных в проектировании непрерывно-дискретных вычислительных систем и нейронных сетей Текст научной статьи по специальности «Математика»

Пальченков Ю.Д. ВЫЧИСЛИМЫЕ ФУНКЦИИ ДЕЙСТВИТЕЛЬНЫХ ПЕРЕМЕННЫХ В ПРОЕКТИРОВАНИИ НЕПРЕРЫВНО-ДИСКРЕТНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ И НЕЙРОННЫХ СЕТЕЙ

Обсуждается ассоциативный нейрон фон Неймана и электронный нейрон Хопфилда и их использования в проектировании непрерывно-дискретных вычислительных систем и нейронных сетей.

Теория информации, предложенная в 40-х годах К. Шенноном была основана на анализе последовательностей символов, поступающих из источника данных в приемник и имеющих дело с двоичными (булевыми), точно заданными значениями, перестает работать в тех случаях, когда речь заходит об информационных сообщениях (запросах - телефон, радио, речь, телевидение, компьютер и т.д.) на много порядков превосходящих по своей мощности возможности приемника [1-3].

Запрос может прийти в любое время, а не только в начальный интервал времени.

Если в физике используются аналитические методы, которые позволяют легко переходить от математических моделей к упрощенным представлениям, доступным для инженеров и ученых, то в теории вычислений такого пока нет [3].

В отличии от строгих математических моделей, концептуальные представления занимают особое место, так как в них учитывается различие в точках зрения и интерпретациях разных людей с одними и теми же наборами данных.

Последние годы XX столетия были ознаменованы практическим созданием функциональной схемы ЭВМ фон Неймана (1945) («First Draft of a Report on the EDVAC») и гипертекстовой модели знаний Вэннивера Буша (1945) («As We May Think»). Эти две работы предопределили развитие вычислительной техники на несколько десятилетий вперед.

На сегодняшний день развитие вычислительной техники условно можно разделить на три временных периода [1-3]:

Вычислительный (расчеты и алгоритмы) с 1940 по 1970 годы.

Логический (обработка символов и текстов) с 1970 по 2000 годы.

Познавательный (накопление и обработка знаний) с 2000 года по настоящее время.

В архитектуре ЭВМ фон Неймана изначально заложены различная интерпретация одних и тех же данных. Один и тот же байт может интерпретироваться как код операции, двоичное число, буква алфавита и яркость световой точки.

В архитектуре ЭВМ фон Нейман использует нейрон в качестве прототипа для базовых вычислительных элементов, и модель биологической нервной системы лежит в основе более общих рассуждений о вычислительных структурах.

Однако фон Нейман в книге «Компьютер и мозг» утверждает, что язык мозга, это не язык математики. Поэтому для нейронных моделей свойственно, что они основаны на очень небольшом наборе аксиоматических понятий.

В своей архитектуре ЭВМ фон Нейман рассматривает в первую очередь арифметические свойства нейрона и использует как цифровой двоичный элемент, который выполняет базовые функции.

Первоначально фон Нейман объединял устройство управления (УУ), арифметико-логическое устройство (АЛУ) и сверхоперативную память (СОЗУ) в один блок, который был назван ассоциативным нейроном или центральным процессором. Сразу следует оговориться, что хотя ассоциативный нейрон напоминает модель нейрона, однако он не предназначен для хранения больших объемов данных и оперативная память содержит множество однотипных элементов, которые, в отличии от биологической системы, являются пассивными.

Второе существенное отличие ассоциативного нейрона от физиологического нейрона является его самостоятельная активность и динамические свойства (количество нейронов и связи между ними постоянно изменяются).

Компьютер на множестве активных нейронах так и не был построен, а классический компьютер состоял из множества пассивных ячеек памяти, связанных с единственным центральным процессором (рис. 1).

Рисунок 1 - Нейронная архитектура фон Неймана

Рисунок 2 - Схема формального нейрона

Попытка использования ассоциативных нейронов в качестве базовых элементов была предпринята в гибридном процессоре (рис. 3), где: АЛУ - арифметико-логическое устройство; АОУ - аналоговое операционное устройство (для решения обыкновенных дифференциальных уравнений); ГОУ - гибридное операционное устройство (алгебраические преобразования, связанные с обработкой информации, поступающей с датчиков и из других смежных систем в аналоговой и цифровой формах)

Рисунок 3 - Обобщенная структурная схема гибридного процессора

На основе обобщенной схемы гибридного процессора был разработан специализированный гибридный процессор для решения навигационных задач (рис. 4).

цифровые данные аналоговые данные управляющие данные управление

Рисунок 4 - Структурная схема специализированного гибридного процессора для решения навигационных задач

На рис. 5 представлена иерархия логического управления специализированного гибридного процессора. Термины «программное» и «структурное» введены фон Нейманом. Если программное управление задает последовательность выбора команд из памяти и их модификацию, то структурное - осуществляет настройку

гибридного операционного устройства и аналогового операционного устройства на требуемую гибридную и аналоговую операции. Под настройкой понимается не только переход к новым параметрам, другому режиму работы, но также и изменение набора аналоговых схем.

Элементы аналоговых ЭВМ ведут себя подобно нейронам, которые могут самостоятельно изменять свое состояние. Нейронные модели способны, в отличии от жестких коммутационных структур, в аналоговых ЭВМ динамически добавлять новые элементы, устанавливать новые связи и изменять их характеристики.

Нейрон, как элемент памяти, обладает еще одним важным свойством, он способен нести значительно большее количество информации, чем 1 бит, хранимый в одной двоичной ячейке оперативной памяти. Состояние нейрона может быть представлено как действительное число, что существенно увеличивает его информативность.

Рисунок 5 - Иерархия логического управления специализированного гибридного процессора

Кроме того, все состояния нейронов зависят от времени. Можно предположить, что биологический нейрон также является запоминающим элементом, с более чем двумя состояниями, тогда оценки объемов данных, которые способен хранить головной мозг, должны быть пересмотрены в сторону их увеличения.

Существует четыре определения действительного числа (ДЧ):

принцип непрерывности Дедекинда;

канторовское понятие фундаментальной последовательности рациональных чисел;

тьюрингово определение через две последовательности сегментов с рациональными концами, названными эквивалентным;

посредством возрастающих и убывающих сходящихся последовательностей рациональных чисел, предложенных Коши.

Необходимо ввести отличие вычислимого действительного числа (ВДЧ) от ДЧ, которое заключается в том, что определяющая последовательность ВДЧ должна быть охарактеризована конечным количеством информации, то есть функциональной схемой соответствующей машине Тьюринга. Определение ДЧ такого ограничения не содержит.

Идея вычислимого (рекурсивного) анализа состоит в том, чтобы расширить классическую теорию вычислимости так, чтобы это могло бы иметь дело с реальными числами.

Частичная функция /: N тьюринговой машиной.

вычислимая (рекурсивная), если она

быть вычислена

может

Множество А с Мп есть рекурсивное, если существует общая вычислимая функция Ха : Ып

ХА =

0, если А,

[1, если х є А.

Функция Ха называется характеристической функцией А.

Множество А с N называется рекурсивно счетным (р.с. для краткости), если А ^0 , или есть общая вычислимая функция /:N^N такая, что:

А = { f (х)є N : X є N1 .

Множество А є N называется рекурсивно счетным, если и только если ^\А есть р.с. [5,6].

Последовательность |ги } рациональных чисел называют р - именем реального числа х, если существует три функции а, Ь, с из N к N такие, что для всех

а(п) Ь (П)

П Є N, Гп =(“1)“

:(п ) +1

- X < -

(1)

Понятие р - имени может быть расширено на □ 1 : последовательность

■)!.

рациональных

Х = (^Х^,Х2 Є □ ^ , если есть р - ИМЯ Xj , 1 <у'</.

зекторов есть О - ИМЯ .V | > • I м ....

1. Реальное число х называется вычислимым, если а, Ь, с в (1) есть вычислимые (рекурсивные) функции.

2. Последовательность ^хк для реальных чисел есть вычислимая, если существует три вычислимые

функции а, Ь, с из М2 к N такие, что для всех к, п еN :

(-1)

,(к ,п) Ь ( к, п) с(к,п)+1

1

Базовым вычислительным устройством аналогового типа является электронный нейрон Хопфилда, показанный на рис. 6.

Рисунок 6 - Электронный нейрон Хопфилда

Нейроны хопфилдского типа выполнены из резисторов, емкостей и усилителей. Однако на этот раз предполагается, что усилители имеют насыщающуюся нелинейную характеристику отклика о такую, как

а(и) = а1апЬ(и)+Р .

Поведение нейрона і в нейронной сети из п - ого количества таких нейронов. Пусть рі и Єі будут выходными сопротивлением и емкостью, соответственно, усилителя в нейроне і. Обозначим выходное напряжение усилителя через иі, и выходное напряжение иі.

Для установления запрещающих соединений между нейронами нужно инвертированное выходное напряжение Ц = — Ц . Нейрон і, как показано на рис. 6, вытягивает ввод из других нейронов, обозначенных как j и

к на рисунке через резисторы (Щ,Щк) . Напряжение ЦЦ и '' получены из соответствующих нейронов j и

к в зависимости от того, являются ли соединения возбуждающими или подавляющими.

Контурные уравнения для сети из п нейронов могут быть записаны так:

(2)

Выбирая параметры контура соответственно и нормализуя ЯС постоянные до 1, можно использовать та кую сеть для выполнения любой системы нелинейных дифференциальных уравнений первого порядка формы:

Жщ п

Л

иI h1jO'(uj), при 1=1,.., р,

]=1

где Хопфилд при помощи функции Ляпунова показал, что если соединения между нейронами

являются симметричными, то Иу = для каждой пары I,] = 1,...,п , тогда система (2) является глобально

асимптотически стабильной, то есть из любого состояния напряжения (иу,...,^) сеть расслабляется

акая

2

<

п

2

навстречу некоторому стабильному состоянию. Отсюда можно рассмотреть такую сеть, производящую «ввод-вывод» преобразование из начальных состояний к их соответствующим состояниям.

Хопфилд предложил применение таких сетей для ассоциативной памяти и для применений комбинаторной оптимизации.

Была изучена вычислительная мощность модели Хопфилда и показано, что произвольные полиномно пространственно-ограниченные машины Тьюринга могут моделироваться полиномно-размеренными сетями с кусочно-линейной функцией отклика усилителя:

В заключении предложена методика проектирования обобщенного гибридного процессора с учетом принципа неопределенности Гейзенберга [3,6] для расчета динамических переменных, характеризующих вычислительные системы, такие как: временные и аппаратурные затраты и длину программы.

Решениями уравнения Беллмана являются параллельные формы алгоритма, которые используются в методике совмещенного исследования структуры решаемых задач, алгоритмов и архитектуры [1,3,6].

1. Толкачев С. Ф. Нейронное программирование диалоговых систем. - СПб.: Корона - Век, 2006 г. -192с.

2. Борисов В. В., Круглов В. В., Федулов А. С. Нечеткие модели и сети. - М.: Горячая линия - Те-

леком, 2007 г. - 284 с.

3. Пальченков Ю. Д. Об одном подходе к аналоговой, цифровой и аналого-цифровой технологиям обработки // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007 г., №3. -с. 44 - 55.

4. Тоффоли Т., Марголус Н. Машины клеточных автоматов: Пер. с англ. - М.: Мир, 1991 - 280с.

5. Burnez O. Campagnolo M. L., Graca D. S., Hainry E. The general Purpose Analog Computer and

Computable Analysis two equivalent paradigms of analog computation. In J. - Y. Cai, S. B. Cooper and

A. Li, editors, Theory and Applications of Models of Computation TAMC' 06, LNCS 3959, pp. - 631 -

643, Springer - Verlag, 2006.

6. Пальченков Ю. Д. Основы теории вычислимых функций действительных переменных и их применение в проектировании гибридных систем и нейронных сетей. ч. I: Монография. - Пенза. Изд-во Пенз. гос. унта, 2003 г. - 17 6 с.

ЛИТЕРАТУРА