CC BY
38
Пальченков Ю.Д. ВЫЧИСЛИМЫЙ АНАЛИЗ В ПРОЕКТИРОВАНИИ ГИБРИДНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ И НЕЙРОННЫХ СЕТЕЙ
Обсуждается ассоциативный нейрон фон Неймана, электронный нейрон Хопфилда, нейровычислитель на основе сигнальных процессоров и их использование в проектировании гибридных вычислительных систем и нейронных сетей.
Тринадцатая проблема Гильберта состоит в том, чтобы показать, что функция /(х, у, z) не представима
суперпозицией функции двух переменных [1,2].
Проблема решена в 1957 году студентом Московского университета (ныне академиком) В. И. Арнольдом, который опроверг утверждение Гильберта. Более общий результат получил А. Н. Колмогоров, доказавший,
что произвольная непрерывная функция / (х ,■■■, хт) может быть точно представлена суперпозицией функции
одной переменной вида:
2т+1 ( т ^
/ (*,■■■, Хт )=ЪпЪав {Х )’ (1)
*'=1 V-1 )
где все функции щ , Хц непрерывны и Хц не зависит от £ [3].
Практически теоремы Стоуна - Вейерштрасса позволяют получить приближенное, но сколь угодное точ-
ное (с наперед заданной точностью) представление непрерывных функций многих переменных, структурно определенными математическими конструкциями (базовыми элементами) с использованием только операций умножения и алгебраического сложения [4,5].
В [6] представлена обрабатывающая компонента аналого-цифровой нейронной сети. Теорема Колмогорова (1) может быть интерпретирована как соотношение «вход-выход» четырехслойной нейронной сети с различными передаточными функциями нейронов и одним выходом.
Однако еще ранее, в 1943 году, У. Маккаллох и У. Питтс [7] предложили модель нейрона в виде электрической сети, содержащей точки подключения источников сигналов (входные зажимы), цепи передачи и
процессорный элемент с выходными значениями.
1. Вычислимый анализ или вычислимость посредством обыкновенных дифференциальных уравнений
Одной из самых важных идей, лежащих в основе классической теории вычислимости (вычислимость типа 1), является понятие алгоритма, связанное с вычислимостью по целым числам.
В 1930-ых годах Клини, Черч и Тьюринг определили понятия рекурсивных функций, А - исчисления и
машины Тьюринга [6,14], что позволило формализовать понятие алгоритма. В дальнейшем было обнаружено, что все подходы были эквивалентными. В 1958 году К. Н. Колмогоровым и В. А. Успенским предприняли попытку расширить понятие алгоритма, которая привела к выводу, что самое общее понятие алгоритма связывается с определением вычислимой функции, аргументами и значениями которой являются натуральные числа.
К вычислимому анализу относится вычислимость по реальным числам (вычислимость типа 2). Теория вычислимого анализа введена Тьюрингом, Гжегорчиком [6,8,13,14]. Идея, лежащая в основе вычислимого анализа, состоит в том, чтобы расширить классическую теорию вычислимости, что могло бы иметь дело с реальными числами.
Реальное число можно рассмотреть как функцию / : N ^ N . Тогда вычислимость по реальным функциям (вычислимость типа 3) будем называть вычислимыми функциями действительных переменных.
Создание основ такой теории является актуальным, так как позволяет получить основной результат научных и прикладных исследований (методика и алгоритмы проектирования гибридного процессора и аналоговых нейронных сетей, а так же технологии обработки информации (аналоговой, гибридной и цифровой).
Аналогично вычислимости на целых числах, универсальная аналоговая вычислительная машина Шеннона и вычислимый анализ есть две эквивалентные парадигмы аналоговых вычислений [6,14].
Дано дифференциальное уравнение вида:
у = /(х,у), (2)
ах
с начальным условием у(х0) = у0 .
Кроме того, функция £ определена и непрерывна в некоторой плоской области, содержащей точку
(х0,Уо) . В этой области функция удовлетворяет условию Липшица по у:
|У (х У1)-/(х У2 )| ^ Щу\ — У2|-
На некотором сегменте |х — х0| <а существует только одно решение:
у = ф(х),
удовлетворяющее начальному условию у(х0) = у0 .
Преобразуем дифференциальное уравнение (2) к виду:
ау' + Ьу = С,
то есть
/(х,у) = -Ьу + С и а,£,СеШ .
Обозначим множество решений этого уравнения через:
Л = {>-(х)еП[0’")),
где [о,-) - начальный интервал (т> 0) ; [0,гс) - весь интервал (а > 0) .
Случай 1. Рассмотрим дифференциальное уравнение вида: у' = С , то есть а = 1, Ь = 0,
С ф 0 и есть фиксированное действительное число.
Множество решений этого уравнения обозначим через:
^ (х) е □ [0,С°^ ,у (х) =Сх + />л/>еп|,
Пусть у^ и у^ будут еА и =Сх + р1 , у^=Сх + р2 и р1,р2ЕП .
Рисунок 1 - Взаимное расположение графиков решений у(1) и у(2)
На рис. 1 показано взаимное расположение графиков решений у(1) и у(2) , которые являются линейными функциями.
В нашем случае С > 0 , значит функция возрастает на всей числовой прямой. Угол наклона прямых совпадает, значит эти прямые параллельны.
Чтобы эти прямые совпали, необходимо выполнить два условия: угол наклона прямых Х = Х ;
,.(1) . (Р2 — Р11
прямую у ' необходимо сдвинуть влево на величину -------------—----- .
Из рис. 1 можно определить:
ВС
*ЯХ1 = 1§Х2 = ~^,
Р2 — Р1
но
ВС = р2 — р^ , а 1^^ХХ = 1^^Х2 = С , тогда АС -
С
С учетом этого можно записать:
р с Р1 у(1)( х)=11 (х)=с ^ +*)+Р1 =Сх+Р2 = у(2)( x),
и это будет выполняться для любых л:еП+ .
Отсюда у^.^ = у{2) .
_С
(1) Р2 — Р1 (1)
Если сделать сдвиг решения уч/ влево на величину, равную ---------------—----, то решение у' ' будет совпадать
{2)
с решением у .
Исходя из сказанного, можно сконструировать непрерывную машину с непрерывной лентой для реализации дифференциального уравнения у' = С с начальными условиями у (0) = Р2 и у (0) = Р1 .
Случай 2. Рассмотрим дифференциальное уравнение вида у' = у (у' = ку) , которое получается из исходного при а = 1, Ь = 1, С = 0 .
Множество всех решений этого уравнения обозначим:
А = |у(х) еП [°50о);у(л:) = 0 vy(x) = рех,/? еП | .
Кроме того, р может быть как больше нуля, так и меньше нуля. Тогда можно записать:
А1 = {у(х) еП ^п\у(х) = рех л/? еП л/?>о|; А2 = |у(х) е □ [0,со);у(х) = рех л /? е □ л /? < о|;
А3 ={>’(*) еП г'(.х-) = о} .
Пусть у(1),у{21 ЕА . Тогда возможны три варианта. Рассмотрим только первый вариант.
Первый вариант.
у(!) = рех и у^=дехг р,деП и р,д> 0.
Тогда:
(2) ( Р ^ Ы~+Х (1)
у (х) = у*1 ’ 1п—\-х \ = де д = рех = ' (х) для любого дс€_1+.
д V д )
Отсюда yv 2 = у{ 1 , так как е д =— .
1пр д
1п^
(2) p (2)
Таким образом, при сдвиге графика решения у' 2 на величину 1п— к началу координат, у' 2 совмеща-
q
ется с у(1) (рис. 2) .
Я
Рисунок 2 - Взаимное расположение графиков решений y(1) , y(2) для y' = y(y' = ky) , p > 0 и q > 0
Случай 3. Рассмотрим уравнение y' = ky (k = const) .
Решение этого уравнения с начальными значениями (x0, y0 ) имеет вид:
y = yoek (x-40) (3)
При k < 0 решение (3) будет устойчивым по Ляпунову, так как при всех x > x0 :
|y/(x-x0> -y0ek(x-x°>| = ek(x-x0) Iyi - yo\< Iyi -y0\ <s
и если
|yi -y<)| <S = s .
Если k < 0 , то: lim ek(x-x0>|yi -y0\ = 0 ,
следовательно решение асимптотически устойчиво.
При k = 0 и y1 Ф y0 разность y - y^ не стремиться к нулю при x ^ , то есть решение y = y0
устойчиво по Ляпунову, но не асимптотически устойчиво.
При k > 0 и y Ф y0 :
lim|yl - y0|ek(x-x0 ^ ,
k (x-xn)
следовательно, решение y = yQe x неустойчиво.
2. Реализация нейровычислителей на основе цифровых сигнальных процессоров
Будем понимать под нейрокомпьютером вычислительную систему с MSIMD архитектурой [10-12].
Определение цифрового сигнального процессора (ЦСП) будет соответствовать [11,12,14].
Нейрокомпьютеры можно отнести к вычислительным системам с высоким параллелизмом (ВСВП), которые могут быть реализованы двумя способами:
Каскадное соединение универсальных микропроцессоров, и в качестве элементной базы берутся универсальные RISC и CISC процессоры: Sparc, Alpha, PowerPC, Intel, TMS, ADSP и другие;
ВСВП на специализированной элементной базе: нейропроцессор MA16 Siemens, СБИС ETAN 8017 00X фирмы Intel.
Рассмотрим кратко ВСВП, реализованные на базе сигнальных процессоров. Отметим, что вычислительные системы первого направления, реализованы на базе сигнальных процессоров, относительно дешевы, а, во-вторых, позволяют реализовать системы обработки изображений и сигналов, для чего в настоящее время нейросетевые алгоритмы применяются в большой мере [10,12,14].
Приведем пример реализации виртуальных, встраиваемых в слот стандартного персонального компьютера, нейровычислителей [11]. Такие нейровычислители представляют собой мультипроцессорные системы с возможностью параллельной обработки. В структуре таких нейровычислительных систем можно выделить две основные части:
управляющая HOST- ЭВМ, реализованная на основе обычной вычислительной системы с CISC или RISC микропроцессорами;
виртуальное аппаратное средство, подключаемое к HOST - ЭВМ посредством внутренних системных интерфейсов, выполняющее основные вычислительные операции.
Рассмотрим особенности аппаратной реализации нейровычислителя с возможностью параллельной обработки, реализующие элементы нейросети.
Такие нейровычислители (рис. 3) строятся на основе гибкой модульной архитектуры, которая обеспечивает простоту конфигурации системы и наращиваемость вычислительной мощности за счет увеличения числа процессорных модулей или применения более производительных сигнальных процессоров.
Рисунок 3 - Обобщенная функциональная схема виртуального нейровычислителя
Основными функциональными элементами являются: модуль сигнальных процессоров (МСП), рабочая па-
мять , память программ, модуль обеспечения ввода/вывода сигналов (включающий АЦП, ЦАП и TTL линии), модуль управления, который может быть реализован на основе специализированного управляющего сигнального процессора (УП) на основе ПЛИС или иметь распределенную структуру, при которой функции общего управления распределены между МСП.
Для построения нейровычислителя данного типа наиболее перспективным является использование сигнальных процессоров с плавающей точкой AD SP2106x, TMS 320С4х, 8x, DSP 96002 [10,15,16].
Повысить производительность нейровычислитель можно при использовании сигнального процессора TMS 32 0C8 0 с производительностью в 2 млрд. операций в секунду [15,16].
3. Реализация статических задач с помощью специализированного гибридного процессора
В гибридной операции участвует более двух операндов, часть из которых может быть задана в цифровом виде, таким образом, преобразования на регистрах можно задавать в виде микропрограмм.
Из основных особенностей МПУ в ГП исследуются три, одна из которых связана с повышением точности гибридных вычислений, другая с совмещением функции регистров, используемых в ГОУ, и, последняя, с возможностью гибридизации методов вычисления элементарных функций.
Рассмотрим ГОУ, реализующее операции ГО1 ^ ГО5:
ГО4: z,
ЗДУ2Уз . y4 '
ГО5:
5
xhyhy2.
У4
:х2У2 , хЗУз. го2: 2 =х1У1У2 , хзУ!. Г03: 2 _ х1У1У2 ■
" У 4 У5 ’ 2 У 4 У5 ’ 3 У4 '
х, у - величины, представленные в аналоговой и цифровой формах.
Настройка ГОУ на реализацию ГО1 ^ ГО5 производится блоком структурного управления (БСУ), управля-
ющим КУ (рис. 4).
КУ осуществляют временное разделение каналов и задают требуемую структуру. Результат гибридной
операции ^1 ^ Z5) представлен в аналоговой форме, но при необходимости может быть преобразован в
код при помощи преобразователя (ПНК).
А/2
Рисунок 4 - Гибридное операционное устройство, реализующее гибридные операции ГО1 ^ ГО5
Стремление повысить точность выполнения ГО привело в необходимости предварительного преобразования операндов. Для этих целей предусматриваются микрооперации сдвига, на регистрах, требуемый порядок которых реализуется УА.
Заключение
Основным результатом статьи является создание научных основ описания аналоговых, цифровых и аналого-цифровых нейронов, которые могут объединяться в сложные вычислительные системы с высоким параллелизмом.
Научная новизна статьи состоит в следующем.
Классическая вычислимость рассматривается на целых числах. Понятие алгоритма является ключевым в классической вычислимости. Клини, Черч и Тьюринг представили точное математическое определение понятия алгоритма в виде рекурсивной функции, À - исчисления и машины Тьюринга, соответственно. В дальнейшем была доказана эквивалентность этих определений.
Вычислимый (рекурсивный) анализ рассматривается на реальных (действительных) числах и является обобщением классической вычислимости. Универсальная аналоговая вычислительная машина Шеннона и вычислимый анализ есть две эквивалентные парадигмы аналогового вычисления.
Вычислимые функции действительных переменных основываются на вычислимости посредством обыкновенных дифференциальных уравнений, бесконечных пределах, преобразованиях Фурье и Лапласа.
Практическая ценность статьи заключается в том, что приведена структура виртуального нейровычислителя на основе цифровых аналоговых процессоров типа AD SP2106x и TMS 320C40 и TMS 320C44.
В результате теоретических исследований можно сделать следующий вывод.
Вычислимые функции, генерируемые гибридным операционным устройством, можно использовать при разработке методики проектирования обрабатывающей компоненты нейросети на основе аналого-цифрового нейрона.
В гибридном нейроне (процессоре) программирование есть традиционное в виде логических схем алгоритмов, а также в соединении решающих устройств (операционный усилитель, в обратной и входной цепях которого содержатся дискретно-управляемые делители напряжения).
Литература
1. Ланнэ А. А. Нейронные цепи, тринадцатая проблема Гильберта и задачи обработки сигналов. Вестник молодых ученых 7' 2001. Серия технические науки 2' 2001, с. 3-26.
2. Арнольд В. И. О функциях трех переменных // ДАН СССР, т. 114, №4, 1957, с. 679-681.
3. Колмогоров. А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения // ДАН СССР, т. 114, №5, 1957, с. 953-956.
4. Weierstrass K. Mathematicshe Werke. Bd1-2, 1894-1895.
5. Стоун М. (Stoun M.) Applications of the Theory of Boolean Rings to General Topology Trans // Amer. Math. Soc. 41. 1937, pp. 375-481.
6. Пальченков Ю. Д. Об одном подходе к аналоговой цифровой и аналого-цифровой технологиям обработки // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007. - №3. - с.
44-55.
7. McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bulletin of the Mathematical Biophysics. 1943, v. 5, pp. 115-133.
8. Grzegorczyk A. On the definitions of Computable real continuous functions, Fund. Math. 44, 1957, pp. 61-71.
9. Толкачёв С. Ф. Нейронное программирование диалоговых систем. - СПб.: Корона - Век, 2006. - 192
с.
10. Пальченков Ю. Д., Попов К. В. Архитектура и программирование цифровых сигнальных процессоров: Учеб. Пособие. - Пенза.: Изд-во Пенз. гос. техн. ун-та, 1997. - 146 с.
11. Власов А. И. Аппаратная реализация нейровычислительных управляющих систем // Приборы и системы управления №2, 1999, с. 61 - 66.
12. Галушкин А. И. О современных направлениях развития нейрокомпьютеров // Информационные технологии, №5, 1997, с. 2-6.
13. Колмогоров А. Н. Теория информации и теория алгоритмов / А.Н. Колмогоров. - М.: Наука, 1987.
14. Пальченков Ю. Д. Вычислимые функции действительных переменных в проектировании непрерывнодискретных вычислительных систем и нейронных сетей. Надежность и качество: труды Международного симпозиума: в 2-х т. /под ред. Н. К. Юркова. - Пенза.: Информационно-издательский центр ПензГУ, 2008. -
1 т., с. 102-105.
15. Марков С. Цифровые сигнальные процессоры. Книга 1. М.: Фирма Микроарм, 1996. - 144 с.
16. http:/vlasov.in4.bmstu.ru/book/parallel/parallel.htm
