Научная статья на тему 'PRO-сетевая модель цифрового нейрона'

PRO-сетевая модель цифрового нейрона Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
91
19
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — М.А.Новотарский

Рассмотрена модель формального нейрона и причины ее широкого использования в качестве базового элемента нейронных сетей. Обосновывается необходимость усложнения модели нейрона для расширения сферы применения нейронных сетей. Дается краткий обзор принципов функционирования биологического нейрона при обработке и передаче информации. На основе этих принципов предлагается PRO-сетевая модель цифрового нейрона, дается ее статическое и динамическое описание

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Розглянута модель формального нейрона та причини її широкого використання в якості базового елемента нейронних сіток. Обґрунтовується необхідність ускладнення моделі нейрона з метою розширення сфери застосування нейронних сіток. Дається короткий огляд принципів функціонування біологічного нейрона під час обробки та передачі інформації. На основі цих принципів пропонується PRO-сіткова модель цифрового нейрона, дається її статичний та динамічний опис.

Текст научной работы на тему «PRO-сетевая модель цифрового нейрона»

Рисунок 1 - Приклад з6ер1гання файлу з використанням технологи Cluster Free

ВИСНОВКИ

ПЕРЕЛ1К ПОСИЛАНЬ

В poöoTi подана концепцш побудови ФС Cluster Free, засновано! на принцип видiлення дискового простору блоками змшного poзмipу. В цш системi тдвищуеться швидкiсть роботи з диском, i при цьому зменшуеться втрата дискового простору в "хвостах" фа^в. Такий пoдвiйний ефект досягаеться завдяки розробленому алгоритму розмщення данних на диску за рахунок збшьшення процесорних операцш та неoбхiднoстi збеpiгання poзмipу кожного кластера, що виявляеться незначними збитками по зpiвнянню з отриманими перевагами.

1.

2.

3.

4.

5.

А. Фролов, Г. Фролов. Операционная система MS-DOS. -М.: Диалог-МИФИ, 1992, 222с.

Maurice J. Bach The Design оf The Unix Operating System. -Нью-Джерси: Prentice-Hall, 1986.

Duncan, Roy. Design goals and implementation of the new High Performance File System. (includes related article on B-Trees and B+ Trees).// Microsoft Systems Journal. 1989.-№9

Ресурсы Windows NTTM. - СПб.: BHV, 1996. - 720 с. Вильямс А. Системное программирование в Windows 2000 для профессионалов - СпБ: Питер, 2001, - 624с.: ил.

УДК 681.32:007.52

PRO-СЕТЕВАЯ МОДЕЛЬ ЦИФРОВОГО НЕЙРОНА

М.А.Новотарский

Рассмотрена модель формального нейрона и причины ее широкого использования в качестве базового элемента нейронных сетей. Обосновывается необходимость усложнения модели нейрона для расширения сферы применения нейронных сетей. Дается краткий обзор принципов функционирования биологического нейрона при обработке и передаче информации. На основе этих принципов предлагается РЯО-сетевая модель цифрового нейрона, дается ее статическое и динамическое описание.

Розглянута модель формального нейрона та причини и широкого використання в якост1 базового елемента

нейронних cimoK. Обгрунтовуеться Heo6xidmcmb ускладнення мoдeлi нейрона з метою розширення сфери застосування нейронних cimoк. Даеться короткий огляд принцитв функщонування 6ioлoгiчнoгo нейрона nid час обробки та neрeдачi iнфoрмацi'i. На ocнoвi цих принцитв пропонуеться PRO-cimкoва модель цифрового нейрона, даеться II статичний та динамiчний опис.

In paper the model of a formal neuron and reasons of its wide usage as a base unit of neural nets is briefly considered. The necessity to use more complicated model of a neuron for the extension of sphere of neural net application is justified.

М.А.Новотарский: PRO-СЕТЕВАЯ МОДЕЛЬ ЦИФРОВОГО НЕЙРОНА

The brief browse of principles of a biological neuron operation is given at handling and information transfer. On the basis of these principles the PRO-network model of a digital neuron is offered, its static and dynamic exposition is given.

Подобно тому, как это выглядело в 40-е годы XX столетия, сегодня, во время новой волны интереса к нейронным сетям, исследования в этой области вдохновляет нейробиология. В настоящее время существуют две цели нейронного моделирования: первая - понять функционирование мозга человека на уровне физиологии и психологии путем наиболее точного описания его работы на основе уже известных фактов и вторая - создать искусственные нейронные сети, сходные по функциональным характеристикам со структурами мозга, но предназначенные для решения конкретного круга задач.

В последнем случае теряется сходство с биологическими нейронными структурами, поскольку для достижения поставленной цели зачастую достаточно использовать только одно из свойств этого весьма сложного объекта. Долгое время исследователей полностью удовлетворяла модель формального нейрона, предложенная в работе Уоррена С. Мак-Каллока и Вальтера Питтса [1]. Эта работа дала начало теории, в основе которой лежал постулат, что все аспекты нервной деятельности можно моделировать с помощью сети элементов, показанных на рис.1. Первоначально эти элементы имели только два устойчивых состояния, а их работа описывалась следующей моделью.

Рисунок 1 - Функциональная схема нейрона Мак-Каллока и Питтса

Входные сигналы (х0, £1,..., хп) поступают на вход блока, моделирующего функции синапсов. Моделирование работы синапсов сводится к масштабированию входных сигналов с помощью вектора весовых коэффициентов (Жд, Ш1,..., Шп). Полученные произведения подаются на вход сумматора, выполняющего вычисления по формуле

V = z Wx. i = 0

(1)

Реакция формального нейрона на входные сигналы задается функцией возбуждения у = /(V) , значения которой определяются по формуле

1 если V> 0, 0 если V< 0.

Дальнейшее усовершенствование этой модели сводилось в основном к модификации функции активации. Наиболее широко используемыми в настоящее время являются "сигмоидная" функция

у = 1/( 1 + е~у) и гиперболический тангенс у = Ш(V) .

Существенное усложнение модели нейрона игнорировалось в основном не потому, что не существовало знаний об объекте моделирования, а скорее всего из-за того, что существующие представления о работе нейронной сети в целом не требовали более сложных элементов этой сети. Подтверждением тому служит успешное использование моделей Кохонена [2], Хопфилда [3], Вильямса [4].

Однако использование модификаций моделей формального нейрона вскоре определило круг задач, успешно решаемых на подобных нейронных сетях. Попытки расширить этот круг наталкиваются на ограниченные возможности обработки информации, свойственные формальному нейрону. Поэтому реальным путем достичь прогресса в области расширения сферы применения нейронного моделирования видится необходимость внедрения основных принципов обработки информации, основанных на наших знаниях о работе нейрона, а не копирование тех или иных биологических параметров.

Основные процессы обработки информации в биологическом нейроне, как известно, происходят в синапсах и близлежащих к ним областях. Поэтому для обоснования принципов организации модели кратко рассмотрим то, что известно сегодня о работе этих загадочных биологических объектов. На рис. 2 схематически показано устройство синапса. Аксонное окончание нейрона имеет небольшое утолщение, заканчивающееся пресинаптической мембраной, которая содержит сферические углубления с

нейротрансмиттерными пузырьками. При передаче информации трансмиттер выбрасывается в пространство между нейронами, называемое синаптической щелью. В результате диффузии нейротрансмиттерные пузырьки, состоящие из специального вещества ацетилхолина, достигают рецепторных белков, расположенных на постсинаптический мембране. Реакция нейрорецепторов изменяет состояние постсинаптической мембраны, результатом чего становится запуск процесса межнейронного взаимодействия. Этот процесс состоит из двух параллельных асинхронно взаимодействующих процессов, называемых процессами пресинаптической и постсинаптической активности.

Процесс пресинаптической активности запускается высвобождением некоторого количества

нейротрансмиттера. Общее количество

высвобождаемого трансмитерра и область его высвобождения зависит от активности

n

пресинаптической зоны. На сегодня известны следующие факторы, влияющие на эту активность: 1) уровень поляризации пресинаптической мембраны; 2) предшествующая синаптическая активность; 3) количество ионов кальция и магния в окружающей среде; 4) действие фармакологических соединений. Долгое время считалось, что единственным фактором, влияющим на освобождение трансмиттера, является поляризация пресинаптической мембраны. Этот механизм и был отражен на модели формального нейрона введением весовых коэффициентов Ш1,..., Ш„). Таким образом, показатель поляризации мембраны выступает в роли коэффициента при передаче информации, интенсивность которой задается амплитудой спайка. Однако работы в области нейробиологии [5] показали, что на эту зависимость влияет целый ряд факторов, оказывающих на нее нелинейное воздействие.

избыток ионов магния угнетает его, но не влияет на чувствительность пресинаптической мембраны. Этот фактор независим от предыдущих, что дает возможность использовать его в качестве компенсирующего воздействия. Действие

фармакологических соединений может повышать или угнетать активность пресинаптической зоны. За последнее время найдены соединения, которые могут влиять на каждый из рассмотренных факторов формирования ее активности. Обобщая сказанное, можно сделать вывод о том, что интенсивность высвобождения трансмиттера является функцией от степени поляризации пресинаптической мембраны, предшествующей синаптической активности и концентрации ионов кальция и магния в пресинаптической зоне. Фактор фармакологического влияния может рассматриваться как внешний фактор, оказывающий влияние одновременно на большие области соседних нейронов. Исходя из сказанного, в общем виде интенсивность высвобождения трансмиттера

Р = ^{Ф[М(х), А (у), I(2)]}

(2)

Рисунок 2 - Синапс

Предшествующая синаптическая активность является другим существенным фактором, влияющим на интенсивность высвобождения трансмиттера. Это влияние объясняется остаточной гиперполяризацией пресинаптической мембраны. Однако данная связь также неоднозначна. В работе [5] приведены результаты исследований, рассматривающие

амплитудно-частотную зависимость интенсивности высвобождения трансмиттера. Не вникая в конкретные механизмы формирования этой нелинейной зависимости, отметим тот факт, что ее существование говорит о необходимости формирования более сложных механизмов межнейронного взаимодействия, нежели те, что применялись в формальном нейроне. Процесс высвобождения трансмиттера также зависит от баланса ионов кальция и магния. Недостаток ионов кальция или

может быть представлена в виде суперпозиции функций, где М - функция влияния степени поляризации пресинап-тической мембраны; А -функция влияния предшествую-щей активности; I -функция влияния ионов кальция и магния; Ф -функция влияния фармакологических соединений.

Основным результатом действия трансмиттера на рецепторы постсинаптической мембраны есть увеличение ее ионной проницаемости.

Постсинаптическая мембрана поделена на области с рецепторами различного типа. Условно назовем их информационными и коммуникационными

рецепторами. Результатом воздействия на информационные рецепторы есть увеличение проницаемости мембраны для практически всех типов ионов. Отсутствие ионной фильтрации приводит к существенному изменению в постсинаптической зоне ионного баланса, который влияет на состояние всего нейрона. Поэтому такой вид передачи можно идентифицировать как локальную передачу информации нейрону-приемнику. Воздействие на коммуникационные рецепторы приводит к избирательной миграции ионов, вызывающих возникновение в постсинаптической зоне процессов генерации спайка. Распространяясь по аксону, возникший в нейроне-приемнике спайк обеспечивает транзитную передачу информации. Информационная и коммуникационная деполяризации постсинаптической мембраны могут существовать одновременно как следствие одновременного воздействия трансмиттера на различные области постсинаптической мембраны. Объединив эффекты от действия всех информационных и коммуникационных зон в рамках одного синапса, запишем следующие зависимости:

М.А.Новотарский: РИО-СЕТЕВАЯ МОДЕЛЬ ЦИФРОВОГО НЕЙРОНА

а = /1(Р1), Р1 ^ Р, в = /2 (Р2 ), Р2 с Р,

(3)

где а, в - состояния постсинаптической мембраны в результате действия трансмиттера соответственно на информационную и коммуникационную области; р1, р2 - интенсивность высвобождения трансмиттера на информационную и коммуникационную области, причем Р1 иР2 = Р .

Организация синаптического взаимодействия биологических нейронов послужила основой для создания модели цифрового нейрона, позволяющей реализовать взаимодействие параллельно

существующих процессов на уровне событий. Такой механизм взаимодействия обеспечивает существенно более высокую степень адекватности модели и дает возможность применить уже известные принципы параллельной обработки информации для описания алгоритмов функционирования нейронной сети.

Принципы функционирования модели цифрового нейрона опишем с помощью формального аппарата РИО-сетей [6]. Описание условно может быть поделено на статическое, задающее структуру сети, и динамическое, определяющее процессы и их взаимодействие. РИО-сеть нейрона, графическое изображение показано на рис.3, зададим в виде набора

абстракций Ф = (Б, Т, О, V, А) . Множество позиций Б = {Я} }1= 1 , обозначаемых кружками на рис.3,

задает текущее состояние модели. Конкретные параметры этого состояния есть атрибуты элементов Я = (т, Ь^) , где д^ - номер позиции в глобальной модели, т^ - элемент множества меток и Ь, - буфер данных. Множество переходов Т = {tj }.4= 1 , элементы

которого изображаются графически в виде вертикальных отрезков, предназначено для задания принципов функционирования модели. Атрибуты перехода задаются множеством

. = (о],Т],р],п]) , где ¿ОИ _

конечные множества входных ребер типа АКБ и ОИ; Oj - конечное множество выходных ребер; Т. - время срабатывания перехода, соответствующее периоду между моментами активации и деактивации; pj -

процедура активации перехода и п. - процедура

обработки. Согласно рис.3, процедура обработки перехода tl моделирует функции постсинаптической

мембраны, процедура обработки ^ перехода t2

обеспечивает функции управления нейроном, переход tз моделирует совокупность процессов, протекающих в пресинаптической зоне, а переход t4 - описывает состояние пресинаптической мембраны.

Рисунок 3 - РКО-сетевая модель цифрового нейрона

Множество связей О определяется как совокупность входных и выходных ребер переходов:

О = {(Я:, t:)} и {( — Я:)} при ( 1 } « } « 11, 1 « j « 4 ) .

Множества V содержат элементы, задающие состояние глобальных переменных модели, а элементы множества А "отвечают" за сбор статистической информации в ходе моделирования.

Функционирования модели происходит путем перемещения меток с входных позиций на выходные. Такое перемещение есть результатом выполнения переходом цикла его активности. Активация перехода происходит при свершении условии активации. Проверку этих условий для перехода ^ выполняет процедура

активации pj . Рассмотрим ее работу, используя аппарат

описания процессов [7], основанный на понимании процесса как цепочки событий. Алфавит событий процессов процедуры активации

ОР = {V}}1= 1 и {е}}4= 1 и {Ы4= 1 , (4)

где V} - события проверки наличия метки на позиции; ej -события запуска процессов активации переходов; Х- -

события запуска процедур обработки.

Запуск процедуры активации задается рекуррентным выражением

р(Р) = ^ р.-, 1 « I « 11, 1 « - « 4) ,

(5)

где Р = {р. 1 - множество процессов, реализуемых

процедурами активации р = {р. }4= 1 .

Пусть для перехода tj существует непустое объединение множеств входных ребер = г.АКБ и г.ОИ и непустое множество меток М- = мА^^ и , размещаемых на

входных позициях. Тогда для него может быть эффективные способы обработки информации. сформирован протокол Tj в соответствии со следующей

протокольной функцией:

TJ =

< V: ) ® < в: , X: ) При Ш: £ M^

1 J J 1 J

<Vi) при Шi £ MOR

l I J

£ < V:) ® <в:, Xj) при Ушк £ MfND (6)

к = 1

£ < Vi) при Шк £ MJAND, к = 1

Процесс процедуры обработки

событием X

J

J W) = (Xj ^ Wj )

Отличительной особенностью предложенной модели цифрового нейрона является способ его функционирования, основанный на параллельном развитии процессов, описывающих различные элементы структуры и асинхронном характере межнейронного обмена информацией. Использование такой модели позволило использовать нейронные сети для решения краевых задач математической физики локально-асинхронным многосеточным методом.

ПЕРЕЧЕНЬ ССЫЛОК

1. McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bulletin of Mathematical Biophysics. - 1943. - N 5. - p. 115-133.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

является

2. Kohonen T. Self-Organization and Associative Springer-Verlag, Berlin.- 1983.- 125p.

процесс

предназначен для моделирования функций объекта или совокупности объектов, описываемых данным переходом. Для модели цифрового нейрона такие зависимости задаются выражениями (2, 3). Однако для столь сложного биологического объекта как нейрон на сегодняшний день не существует однозначных аналитических зависимостей,

определяющих его функционирование. Поэтому современные подходы к проблеме адекватности модели нейрона основаны на использовании в каждом конкретном случае только тех аспектов его функционирования, которые

обеспечивают более

Memory.

внутренним процессом перехода tj, запускаемым 3.

4.

5.

6.

7.

Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities// Proceedings of the National Academy of Science? USA 79, 1982. -p.2554-2558.

Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by error propagation// Parallel Distributed Processing. MIT Press, Cambridge,MA,1986.-p.318-362.

Hubbard J.J., Willis W.D. Hyperpolarization mammalian motor nerve terminals // J. Physiol. (London).1962 Vol.163. p.115-137.

Nesterenko B.B., Novotarskiy M.A. Mathematical simulation for parallel asynchronous methods of boundary value problems of mathematical physics // Proceedings of 16th IMACS World Congress.- 2000. - 6p.

Нестеренко Б.Б., Новотарский М.А. Имитационные модели параллельных асинхронных методов математической физики // Препринт / НАН Украины, Ин-т математики; 97.14.- Киев, 1997 г. - 52 с.

П

УДК 681.32:007.52

МНОГОМЕРНОСТЬ - БЕЗ ПРОКЛЯТИЙ

А.Н.Радченко

Показана преодолимость колмогоровского барьера сложности путем представления заданной функции многих переменных суперпозицией конечного числа функций меньшего числа переменных. Искомое представление найдено среди суперпозиции случайной реализации таких функций вычеркиванием некоторой части их них. Точность такого решения инвариантна числу переменных, но зависит от числа исходных композитных функций и областей их определения. Найдено оптимальное решение. Представление исходной функции через более простые композитные функции обладает опознающими свойствами. Они тем лучше, чем больше размерность исходной функции.

The Kolmogorovs barrier of complexity may be taken by representation of the given function by many variable superposition

of final number of functions of smaller number variable. The required representation is found among a superposition of casual realization of such functions by deletion of some part of them. The accuracy of such decision is invariant to variable number, but depends on number initial composite functions and their domain of definition. The optimum decision is found. The representation of initial function through more simple composite function has recognition properties. They are the better, than more dimension have initial function.

ВВЕДЕНИЕ

Проклятие многомерности возникает при увеличении

i Надоели баннеры? Вы всегда можете отключить рекламу.