Основы теории вычислимых функций действительных переменных в проектировании непрерывно-дискретных вычислительных систем и нейронных сетей Текст научной статьи по специальности «Математика»

УДК 681.3.25:621:382

Ю. Д. Пальченков

ОСНОВЫ ТЕОРИИ ВЫЧИСЛИМЫХ ФУНКЦИЙ ДЕЙСТВИТЕЛЬНЫХ ПЕРЕМЕННЫХ

В ПРОЕКТИРОВАНИИ НЕПРЕРЫВНО-ДИСКРЕТНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ И НЕЙРОННЫХ СЕТЕЙ

Аннотация. Обсуждается ассоциативный нейрон фон Неймана и электронный нейрон Хопфилда и их использование в проектировании непрерывно-дискретных вычислительных систем и нейронных сетей.

Ключевые слова: вычислимый анализ, нейронная сеть, аналого-цифровой нейрон, сигнальный процессор.

Abstract. Association neuron, Knopfield electron neuron, neurocomputer on basis of signal processors and their usage in designing of hybrid computing systems and neural network are under discussion.

Keywords: computable analysis, neural network, analogous-digital neuron, signal processor.

Введение

Теория информации, предложенная в 40-х гг. К. Шенноном, основанная на анализе последовательностей символов, поступающих из источника данных в приемник с двоичными (булевыми) точно заданными значениями, не работает в тех случаях, когда речь заходит об информационных сообщениях (запросах - телефон, радио, речь, телевидение, компьютер и т.д.), на много порядков превосходящих по своей мощности возможности приемника [1-3].

Среди работ, лежащих в основе теоретических представлений об информации, следует особо отметить труды академика А. Н. Колмогорова. В статье «Три подхода к определению понятия «Количество информации» Колмогоров примеряет теорию алгоритмов к определению «количества информации» в чем-либо (х) о чем-либо (у). Колмогоров предлагает оценить сложность, а стало быть, и информативность объектов через минимальную длину программы, необходимой для получения у из х.

Будем придерживаться определения нейрокомпьютера, приведенного А. И. Галушкиным. Он рассматривает его как вычислительную систему с MSIMD-архитектурой, в которой процессорный элемент однородной структуры упрощен до уровня нейрона, резко усложнены связи между элементами и программирование перенесено на изменение весовых коэффициентов связей между процессорными элементами.

Если в физике используются аналитические методы, которые позволяют легко переходить от математических моделей к упрощенным представлениям, доступным для инженеров и ученых, то в теории вычислений такого пока нет [3]. В отличие от строгих математических моделей концептуальные представления занимают особое место, т.к. в них учитывается различие в точках зрения и интерпретациях разных людей с одними и теми же наборами данных.

1 Нейронная архитектура фон Неймана

XX столетие было ознаменовано практическим созданием функциональной схемы ЭВМ фон Неймана (1945) («First Draft of a Report on the ED-VAC») и гипертекстовой модели знаний Вэннивера Буша (1945) («As We May Think»). Эти две работы предопределили развитие вычислительной техники на несколько десятилетий вперед.

На сегодняшний день развитие вычислительной техники условно можно разделить на три временных периода [1-3]:

1. Вычислительный (расчеты и алгоритмы): с 1940 по 1970 гг.

2. Логический (обработка символов и текстов): с 1970 по 2000 гг.

3. Познавательный (накопление и обработка знаний): с 2000 г. по настоящее время.

В архитектуре ЭВМ фон Неймана изначально заложена различная интерпретация одних и тех же данных. Один и тот же байт может интерпретироваться как код операции, двоичное число, буква алфавита и яркость световой точки. Фон Нейман использует нейрон в качестве прототипа для базовых вычислительных элементов, а модель биологической нервной системы лежит в основе более общих рассуждений о вычислительных структурах.

Однако в книге «Компьютер и мозг» фон Нейман утверждает, что язык мозга - это не язык математики. Поэтому нейронные модели основаны на очень небольшом наборе аксиоматических понятий. В своей архитектуре ЭВМ фон Нейман рассматривает в первую очередь арифметические свойства нейрона и использует его как цифровой двоичный элемент, который выполняет базовые функции.

Первоначально фон Нейман объединял устройство управления (УУ), арифметико-логическое устройство (АЛУ) и сверхоперативную память (СОЗУ) в один блок, который был назван ассоциативным нейроном или центральным процессором. Сразу следует оговориться, что, хотя ассоциативный нейрон напоминает физиологический, он не предназначен для хранения больших объемов данных и оперативная память содержит множество однотипных элементов, которые в отличие от биологической системы являются пассивными.

Вторым существенным отличием ассоциативного нейрона от физиологического является его самостоятельная активность и динамические свойства (количество нейронов и связи между ними постоянно изменяются).

Компьютер на множестве активных нейронов так и не был построен, а классический компьютер состоял из множества пассивных ячеек памяти, связанных с единственным центральным процессором (рис. 1).

На рис. 2 представлена схема формального нейрона, состоящая из сумматора и функционального преобразователя.

Попытка использования ассоциативных нейронов в качестве базовых элементов была предпринята в гибридном процессоре (рис. 3).

На основе обобщенной схемы гибридного процессора был разработан специализированный гибридный процессор для решения навигационных задач (рис. 4).

Термины «программное» и «структурное» введены фон Нейманом. Если программное управление задает последовательность выбора команд из памяти и их модификацию, то структурное - осуществляет настройку ГОУ

и АОУ на требуемую гибридную и аналоговую операции. Под настройкой понимается не только переход к новым параметрам, другому режиму работы, но также и изменение набора аналоговых схем.

Элементы аналоговых ЭВМ ведут себя подобно нейронам, которые могут самостоятельно изменять свое состояние. Нейронные модели в отличие от жестких коммутационных структур способны в аналоговых ЭВМ динамически добавлять новые элементы, устанавливать новые связи и изменять их характеристики.

Рис. 1 Нейронная архитектура фон Неймана

о:

Рис. 2 Схема формального нейрона

Нейрон как элемент памяти обладает еще одним важным свойством: он способен нести значительно большее количество информации, чем 1 бит, хранимый в одной двоичной ячейке оперативной памяти. Состояние нейрона может быть представлено как действительное число, что существенно увеличивает его информативность.

Рис. 3 Обобщенная структурная схема гибридного процессора:

АЛУ - арифметико-логическое устройство; АОУ - аналоговое операционное устройство (для решения обыкновенных дифференциальных уравнений); ГОУ - гибридное операционное устройство (алгебраические преобразования, связанные с обработкой информации, поступающей с датчиков и из других смежных систем в аналоговой и цифровой формах)

і N - цифровые данные

- аналоговые данные

------^ - управляющие данные

------- управление

Рис. 4 Структурная схема специализированного гибридного процессора для решения навигационных задач

2 Вычислимое действительное число

Состояния нейронов зависят от времени. Можно предположить, что биологический нейрон также является запоминающим элементом с более чем двумя состояниями, тогда оценки объемов данных, которые способен хранить головной мозг, должны быть пересмотрены в сторону их увеличения.

Существует четыре определения действительного числа (ДЧ):

- принцип непрерывности Дедекинда;

- канторовское понятие фундаментальной последовательности рациональных чисел;

- тьюрингово определение через две последовательности сегментов с рациональными концами, названными эквивалентными;

- определение посредством возрастающих и убывающих сходящихся последовательностей рациональных чисел, предложенных Коши.

Необходимо ввести отличие вычислимого действительного числа (ВДЧ) от ДЧ. Оно заключается в том, что определяющая последовательность ВДЧ должна быть охарактеризована конечным количеством информации, функциональной схемой, соответствующей машине Тьюринга. Определение ДЧ такого ограничения не содержит.

Идея вычислимого (рекурсивного) анализа состоит в том, чтобы расширить классическую теорию вычислимости от целых до реальных чисел.

Частичная функция /: Ып — N есть вычислимая (рекурсивная), если она может быть вычислена тьюринговой машиной.

Множество А с Ып есть рекурсивное, если существует такая общая вычислимая функция Ха : №п —> {0,1}, что:

(0, если А,

XА [1, если Xе А.

Функция XА называется характеристической функцией А.

Множество А с Ып называется рекурсивно счетным (далее - р.с.), если А ^0 или есть такая общая вычислимая функция /: N — N , что:

Множество А є Ып называется рекурсивно счетным, если и только если Ып \ А есть р.с. [4, 5].

ного числа х, если существуют такие три функции а, Ь, с: N ^ N, что для всех

Последовательность {гп } рациональных чисел называют р -именем реаль-

(1)

Понятие р -имени может быть расширено на Я : последовательность г2п, . ., ГЫ )}п^ рациональных векторов есть р -имя х = (х1, Х2,..., XI )е Я1,

\г,п} есть р-имя х,-, 1 < ] < I .

У]п\пё^ } •’

Реальное число х называется вычислимым, если а, Ь, с в (1) есть вычислимые (рекурсивные) функции.

Последовательность {хк для реальных чисел есть вычислимая, ес-

2

ли существуют такие три вычислимые функции а, Ь, с: N — N, что для всех к, п е N :

\а(к,п) Ь(к,п) _ х

с (к, п) +1 к

2п

Базовым вычислительным устройством аналогового типа является электронный нейрон Хопфилда, показанный на рис. 5.

Рис. 5 Электронный нейрон Хопфилда

Нейроны хопфилдского типа выполнены из резисторов, емкостей и усилителей. Однако на этот раз предполагается, что усилители имеют такую насыщающуюся нелинейную характеристику отклика а, как

а(и) = а 1аиИ (и) + Р.

Рассмотрим поведение нейрона і в нейронной сети из п-го количества таких нейронов. Пусть рі и сі соответственно будут входными сопротивлением и емкостью усилителя в нейроне і. Обозначим входное напряжение усилителя через и и выходное напряжение через иі.

Для установления запрещающих соединений между нейронами нужно инвертированное выходное напряжение йг- = _иг-. Нейрон і, как показано на рис. 5, вытягивает ввод из других нейронов, обозначенных как у и к на рисунке, через резисторы (у, Яік). Напряжения и получены из соответствующих нейронов у и к в зависимости от того, являются ли соединения возбуждающими или подавляющими.

Контурные уравнения для сети из п нейронов могут быть записаны так:

иі ^ 1 / + \ .

+Рг=X и: ((_ иі), при 1 = 1, •••,п.

• 1 Иц

: =1 :

(2)

Выбирая параметры контура и нормализуя ЯС-постоянные до 1, можно использовать такую сеть для решения любой системы нелинейных дифференциальных уравнений первого порядка формы:

d-=~и1+z hij °(uj) при i =1 p,

j=1

где Rij = Vhij •

Хопфилд при помощи функции Ляпунова показал, что если соединения между нейронами являются симметричными, то Rj = Rj для каждой пары

i, j = 1,..., и , тогда система (2) является глобально асимптотически стабильной, т.е. из любого состояния напряжения (ui,..., ип) сеть расслабляется навстречу некоторому стабильному состоянию. Отсюда можно рассмотреть сеть, производящую «ввод-вывод»-преобразование из начальных состояний к их соответствующим состояниям.

Хопфилд предложил применение таких сетей для ассоциативной памяти и комбинаторной оптимизации.

Была изучена вычислительная мощность модели Хопфилда и показано, что произвольные полиномно пространственно-ограниченные машины Тьюринга могут моделироваться полиномно-размеренными сетями с кусочнолинейной функцией отклика усилителя:

-1, для и < -1, и, для -1 < и < 1,

1, для и > 1.

Заключение

Предложена методика проектирования обобщенного гибридного процессора с учетом принципа неопределенности Гейзенберга для расчета динамических переменных, характеризующих вычислительные системы, такие как временные и аппаратурные затраты и длина программы.

Решениями уравнения Беллмана являются параллельные формы алгоритма, которые используются в методике совместного исследования структуры решаемых задач, алгоритмов и архитектуры.

Список литературы

1. Толкачев, С. Ф. Нейронное программирование диалоговых систем /

C. Ф. Толкачев. - СПб. : Корона-Век, 2006. - 192 с.

2. Борисов, В. В. Нечеткие модели и сети / В. В. Борисов, В. В. Круглов, А. С. Федулов. - М. : Горячая линия-Телеком, 2007. - 284 с.

3. Пальченков, Ю. Д. Об одном подходе к аналоговой, цифровой и аналогоцифровой технологиям обработки / Ю. Д. Пальченков // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007. - № 3. - С. 44-55.

4. Burnez, O. The general Purpose Analog Computer and Computable Analysis two equivalent paradigms of analog computation / O. Burnez, M. L. Campagnolo,

D. S. Graca, E. Hainry // Theory and Applications of Models of Computation TAMC’ 06, LNCS 3959 / J.-Y. Cai, S. B. Cooper and A. Li, editors. - Springer - Verlag, 2006. -Р. - 631-643.

5. Пальченков, Ю. Д. Основы теории вычислимых функций действительных переменных и их применение в проектировании гибридных систем и нейронных сетей : монография / Ю. Д. Пальченков. - Пенза : Изд-во Пенз. гос. ун-та, 2003. -

Ч. I. - 176 с.

a(u) = <

Пальченков Юрий Дмитриевич

кандидат технических наук, профессор, кафедра радиотехники и радиоэлектронных систем, Пензенский государственный

Palchenkov Jury Dmitrievich a Cand.Tech.Sci., the professor, chair of a radio engineering and radio-electronic systems, the Penza state university

университет

УДК 681.3.25:621:382 Пальченков, Ю. Д.

Основы теории вычислимых функций действительных переменных в проектировании непрерывно-дискретных вычислительных систем и нейронных сетей / Ю. Д. Пальченков // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2009. - № 1 (9). -

С.23-30.