Основы теории вычислимых функций действительных переменных в проектировании непрерывно-дискретных вычислительных систем и нейронных сетей Текст научной статьи по специальности «Математика»

Пальченков Ю.Д. ОСНОВЫ ТЕОРИИ ВЫЧИСЛИМЫХ ФУНКЦИЙ ДЕЙСТВИТЕЛЬНЫХ ПЕРЕМЕННЫХ В ПРОЕКТИРОВАНИИ НЕПРЕРЫВНО-ДИСКРЕТНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ И НЕЙРОННЫХ СЕТЕЙ

Теория информации, предложенная в 40-х годах К. Шенноном, была основана на анализе последовательностей символов, поступающих из источника данных в приемник и имеющих дело с двоичными (булевыми), точно заданными значениями, не работает в тех случаях, когда речь заходит об информационных сообщениях (запросах - телефон, радио, речь, телевидение, компьютер и т.д.) на много порядков превосходящих по своей мощности возможности приемника [1-3].

Среди работ, лежащих в основе теоретических представлений об информации, следует особо отметить труды академика А. Н. Колмогорова.

В статье «Три подхода к определению понятия «Количество информации» Колмогоров примеряет теорию алгоритмов к определению «количества информации» в чем либо (х) о чем либо (у).

Колмогоров предлагает оценить сложность, а стало быть, и информативность объектов через минимальную длину программы, необходимой для получения у из х.

Будем придерживаться определения нейрокомпьютера, приведенное А. И. Галушкиным, как вычислительной системы с MSIMD архитектурой, в которой процессорный элемент однородной структуры упрощен до уровня нейрона, резко усложнены связи между элементами и программирование перенесено на изменение весовых коэффициентов связей между процессорными элементами.

Если в физике используются аналитические методы, которые позволяют легко переходить от математических моделей к упрощенным представлениям, доступным для инженеров и ученых, то в теории вычислений такого пока нет [3].

В отличие от строгих математических моделей, концептуальные представления занимают особое место, так как в них учитывается различие в точках зрения и интерпретациях разных людей с одними и теми же наборами данными.

1. Нейронная архитектура фон Неймана

Последние годы XX столетия были ознаменованы практическим созданием функциональной схемы ЭВМ фон Неймана (1945) («First Draft of a Report on the EDVAC») и гипертекстовой модели знаний Вэнни-вера Буша (1945) («As We May Think»). Эти две работы предопределили развитие вычислительной техники на несколько десятилетий вперед.

На сегодняшний день развитие вычислительной техники условно можно разделить на три временных периода [1-3]:

Вычислительный (расчеты и алгоритмы) с 1940 по 1970 годы.

Логический (обработка символов и текстов) с 1970 по 2000 годы.

Познавательный (накопление и обработка знаний) с 2000 года по настоящее время.

В архитектуре ЭВМ фон Неймана изначально заложены различная интерпретация одних и тех же данных. Один и тот же байт может интерпретироваться как код операции, двоичное число, буква алфавита и яркость световой точки.

В архитектуре ЭВМ фон Нейман использует нейрон в качестве прототипа для базовых вычислительных элементов, и модель биологической нервной системы лежит в основе более общих рассуждений о вычислительных структурах.

Однако фон Нейман в книге «Компьютер и мозг» утверждает, что язык мозга, это не язык математики. Поэтому для нейронных моделей свойственно, что они основаны на очень небольшом наборе аксиоматических понятий.

В своей архитектуре ЭВМ фон Нейман рассматривает в первую очередь арифметические свойства нейрона и использует как цифровой двоичный элемент, который выполняет базовые функции.

Первоначально фон Нейман объединял устройство управления (УУ), арифметико-логическое устройство (АЛУ) и сверхоперативную память (СОЗУ) в один блок, который был назван ассоциативным нейроном или центральным процессором. Сразу следует оговориться, что хотя ассоциативный нейрон напоминает модель нейрона, однако он не предназначен для хранения больших объемов данных и оперативная память содержит множество однотипных элементов, которые, в отличие от биологической системы, являются пассивными.

Второе существенное отличие ассоциативного нейрона от физиологического нейрона является его самостоятельная активность и динамические свойства (количество нейронов и связи между ними постоянно изменяются).

Компьютер на множестве активных нейронах так и не был построен, а классический компьютер состоял из множества пассивных ячеек памяти, связанных с единственным центральным процессором (рис. 1).

Рисунок 1 - Нейронная архитектура фон Неймана

На рис. 2 представлена схема формального нейрона, состоящая из сумматора и функционального преобразователя.

Выходной

Рисунок 2 - Схема формального нейрона

Попытка использования ассоциативных нейронов в качестве базовых элементов была предпринята в гибридном процессоре (рис. 3).

Рисунок 3 - Обобщенная структурная схема гибридного процессора: АЛУ - арифметико-логическое

устройство; АОУ - аналоговое операционное устройство (для решения обыкновенных дифференциальных уравнений); ГОУ - гибридное операционное устройство (алгебраические преобразования, связанные с обработкой информации, поступающей с датчиков и из других смежных систем в аналоговой и цифровой формах)

На основе обобщенной схемы гибридного процессора был разработан специализированный гибридный процессор для решения навигационных задач (рис. 4).

I > - цифровые данные

- аналоговые данные

------^ - управляющие данные

------- управление

Рисунок 4 - Структурная схема специализированного гибридного процессора для решения навигационных задач

Термины «программное» и «структурное» введены фон Нейманом. Если программное управление задает последовательность выбора команд из памяти и их модификацию, то структурное - осуществляет настройку ГОУ и АОУ на требуемую гибридную и аналоговую операции. Под настройкой понимается не только переход к новым параметрам, другому режиму работы, но также и изменение набора аналоговых схем.

Элементы аналоговых ЭВМ ведут себя подобно нейронам, которые могут самостоятельно изменять свое состояние. Нейронные модели способны, в отличие от жестких коммутационных структур, в аналоговых ЭВМ динамически добавлять новые элементы, устанавливать новые связи и изменять их характеристики.

Нейрон, как элемент памяти, обладает еще одним важным свойством, он способен нести значительно большее количество информации, чем 1 бит, хранимый в одной двоичной ячейке оперативной памяти. Состояние нейрона может быть представлено как действительное число, что существенно увеличивает его информативность.

2. Вычислимое действительное число

Кроме того, все состояния нейронов зависят от времени. Можно предположить, что биологический нейрон также является запоминающим элементом, с более чем двумя состояниями, тогда оценки объемов данных, которые способен хранить головной мозг, должны быть пересмотрены в сторону их увеличения.

Существует четыре определения действительного числа (ДЧ):

принцип непрерывности Дедекинда;

канторовское понятие фундаментальной последовательности рациональных чисел;

тьюрингово определение через две последовательности сегментов с рациональными концами, названными эквивалентным;

посредством возрастающих и убывающих сходящихся последовательностей рациональных чисел, предложенных Коши.

Необходимо ввести отличие вычислимого действительного числа (ВДЧ) от ДЧ, которое заключается в том, что определяющая последовательность ВДЧ должна быть охарактеризована конечным количеством информации, то есть функциональной схемой соответствующей машине Тьюринга. Определение ДЧ такого ограничения не содержит.

Идея вычислимого (рекурсивного) анализа состоит в том, чтобы расширить классическую теорию вычислимости так, чтобы это могло бы иметь дело с реальными числами.

Частичная функция /:N —Мк есть вычислимая (рекурсивная), если она может быть вычислена тьюринговой машиной.

Множество А с N есть рекурсивное, если существует общая вычислимая функция Хл :N —— |0,1| такая, что:

0, если А,

1, если х е А.

Функция Хл называется характеристической функцией А.

Множество А с Ып называется рекурсивно счетным (р.с. для краткости), если АФ0 , или есть общая вычислимая функция /:N — N такая, что:

А = {/(х)е ^ :хе N1 .

Множество Ае^ называется рекурсивно счетным, если и только если ^\А есть р.с. [5,6].

Последовательность \тп} рациональных чисел называют р - именем реального числа х, если существует три функции а, Ь, с из N к N такие, что для всех / \а (п) Ь (П) , ,1

П е N> Гп =(_1) ( ) Л 1 и \Гп ~Х . (1)

с ( п ) +1 2п

Понятие р - имени может быть расширено на □ 1 : последовательность \(г\п>г2п>,,,’г1п^ дг рациональных

векторов есть Р - ИМЯ X = е и 1 , если {*)„} есть Р - ИМЯ Ху, 1 <_/</.

1. Реальное число х называется вычислимым, если а, Ь, с в (1) есть вычислимые (рекурсивные) функции.

2. Последовательность {х^ }^е^ для реальных чисел есть вычислимая, если существует три вычислимые функции а, Ь, с из N2 к N такие, что для всех к, п е N :

(-1)'

г(к ,п) Ь ( к, п ) с ( к, п ) +1

. 1

:2п

Базовым вычислительным устройством аналогового типа является электронный нейрон Хопфилда, показанный на рис. 5.

Рисунок 5 - Электронный нейрон Хопфилда

Нейроны хопфилдского типа выполнены из резисторов, емкостей и усилителей. Однако на этот раз предполагается, что усилители имеют насыщающуюся нелинейную характеристику отклика о такую, как:

ст(и) = с^апИ(и) + 3 .

Поведение нейрона і в нейронной сети из п - ого количества таких нейронов. Пусть р± и еі будут выходными сопротивлением и емкостью, соответственно, усилителя в нейроне і. Обозначим входное напряжение усилителя через иі, и выходное напряжение иі.

Для установления запрещающих соединений между нейронами нужно инвертированное выходное напряжение Ц = —Ц . Нейрон і, как показано на рис. 5, вытягивает ввод из других нейронов, обозначенных

как ^ и к на рисунке через резисторы (Я,) . Напряжение ці и Ц получены из соответствующих

нейронов ^ и к в зависимости от того, являются ли соединения возбуждающими или подавляющими. Контурные уравнения для сети из п нейронов могут быть записаны так:

Жиі и 1 і ± \

с'~л +^=5^—м')' при і=1.п

(2)

Выбирая параметры контура соответственно и нормализуя ЯО постоянные до 1, можно использовать такую сеть для выполнения любой системы нелинейных дифференциальных уравнений первого порядка формы:

йиг

&

п

1 = —и +5^1]а(иі), при і=1,.., р,

і=1

где Щ =1 ку . Хопфилд при помощи функции Ляпунова показал, что если соединения между нейронами являются симметричными, то Щ для каждой пары /,] = 1,...,п , тогда система (2) является глобаль-

но асимптотически стабильной, то есть из любого состояния напряжения {их,..., ип) сеть расслабляется

навстречу некоторому стабильному состоянию. Отсюда можно рассмотреть такую сеть, производящую «ввод-вывод» преобразование из начальных состояний к их соответствующим состояниям.

Хопфилд предложил применение таких сетей для ассоциативной памяти и для применений комбинаторной оптимизации.

Была изучена вычислительная мощность модели Хопфилда и показано, что произвольные полиномно пространственно-ограниченные машины Тьюринга могут моделироваться полиномно-размеренными сетями с кусочно-линейной функцией отклика усилителя:

7( и

( и ) =

—1, для и < —1,

и, для -1 < и < 1,

1, для и > 1.

Заключение

Предложена методика проектирования обобщенного гибридного процессора с учетом принципа неопределенности Гейзенберга [3,6] для расчета динамических переменных, характеризующих вычислительные системы, такие как: временные и аппаратурные затраты и длину программы.

Решениями уравнения Беллмана являются параллельные формы алгоритма, которые используются в методике совместного исследования структуры решаемых задач, алгоритмов и архитектуры [1,3,6].

Литература

1. Толкачев С. Ф. Нейронное программирование диалоговых систем. - СПб.: Корона - Век, 2006 г. - 192с.

2. Борисов В. В., Круглов В. В., Федулов А. С. Нечеткие модели и сети. - М.: Горячая линия -

Телеком, 2007 г. - 284 с.

3. Пальченков Ю. Д. Об одном подходе к аналоговой, цифровой и аналого-цифровой технологиям обработки // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007 г.,

№3. - с. 4 4 - 55.

4. Тоффоли Т., Марголус Н. Машины клеточных автоматов: Пер. с англ. - М.: Мир, 1991 - 280с.

5. Burnez O. Campagnolo M. L., Graca D. S., Hainry E. The general Purpose Analog Computer and Computable Analysis two equivalent paradigms of analog computation. In J. - Y. Cai, S. B. Cooper and A. Li, editors, Theory and Applications of Models of Computation TAMC' 06, LNCS 3959, pp. -631 - 643, Springer - Verlag, 2006.

6. Пальченков Ю. Д. Основы теории вычислимых функций действительных переменных и их применение в проектировании гибридных систем и нейронных сетей. ч. I: Монография. - Пенза. Изд-во Пенз. гос. ун-та, 2003 г. - 176 с.