Научная статья на тему 'Математика сознания'

Математика сознания Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
137
35
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СОЗНАНИЕ КАК ПОСЛЕДОВАТЕЛЬНЫЙ ДИНАМИЧЕСКИЙ ПРОЦЕСС / ИНГИБИТОРНЫЕ СЕТИ МОЗГА / ИЕРАРХИЧЕСКИЕ ГРУППЫ ИНФОРМАЦИОННЫХ ПАТТЕРНОВ / МНОГОКОМПОНЕНТНЫЕ ФУНКЦИИ И ГРУППИРОВКА / ПОСЛЕДОВАТЕЛЬНАЯ ДИНАМИКА РАБОЧЕЙ ПАМЯТИ / СОВМЕСТНАЯ МЕНТАЛЬНАЯ АКТИВНОСТЬ РОБОТА И ЧЕЛОВЕКА / СONSCIOUSNESS AS A SEQUENTIAL DYNAMICAL PROCESS / INHIBITORY BRAIN NETWORKS / HIERARCHICAL CHUNKING OF INFORMATION PATTERNS / MULTIMODALITY AND BINDING / WORKING MEMORY SEQUENTIAL DYNAMICS / HUMAN-ROBOT ≪JOINT MIND≫

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Рабинович Михаил Израилевич, Варона Пабло

В данной слайдовой лекции мы предлагаем новую концепцию для построения математической теории когнитивных функций человека, включая сознание. Такие функции как творчество, принятие решений и предсказания, на основе анализа прошлого, описываются в рамках канонических динамических моделей в форме глобальных иерархических сетей. Блоки таких сетей кооперируются и конкурируют друг с другом за счет ингибирования. Активность сетей демонстрирует переходную цепочечную динамику, для описания которой мы используем гетероклинические структуры, представляющие в ментальном пространстве когнитивные компоненты на разных уровнях иерархии взаимодействия. Впервые мы строим систему кинетических экологических уравнений, описывающих взаимодействие эмоций и когнитивных функций на всех уровнях иерархии. Особенно это необходимо для описания разных этапов творчества. Мы исследуем кооперацию мозга человека и искусственного интеллекта на примере музыкальных импровизаций и создания ≪кооперативной≫ музыки. Например, когда робот комплектует информационные группы и на их основе рабочую память, а человек использует эмоции и интуицию для отбора. Уровень творчества оценивается по величине энтропии Колмогорова-Синая. Анализ совместного музыкального творчества человека и искусственного интеллекта может быть полезен для разных приложений, в частности, для диагностики некоторой группы психиатрических заболеваний.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Mathematics of mind

In this slide-lecture we formulate a novel paradigm for the mathematical description of mental functions such as consciousness, creativity, decision making and prediction of the future based on the past. Such cognitive functions are described in the framework of canonical nonlinear dynamical models that form joint global hierarchical networks. Subnetworks cooperate and compete with each other by inhibition. The suggested approach uses heteroclinic dynamics to represent transitivity and sequential interaction of different cognitive modalities at all levels of network hierarchy. For the first time we build a model of global network dynamics based on a set of kinetic ecological equations describing the interaction with emotion at each level of the hierarchy. This makes the model applicable for the description and understanding of perception, creativity and other complex cognitive processes. We discuss the creativity phenomenon, for example, in a joint ≪human-robot mind≫ considering the approximation in which the artificial partner is responsible for the binding and retrieving of multimodal perception information. The formation of chunks and the creation of working memory is a joint effort human-robot mind. The human mind is responsible for the evaluation of the information in working memory. Creativity is estimated by Kolmogorov-Sinai entropy. As an example, we discuss joint human-robot musical improvisation, which can be generalized for many applications, in particular, in the context of artificial intelligence applications and to address several psychiatric disorders.

Текст научной работы на тему «Математика сознания»

МАТЕМАТИКА СОЗНАНИЯ*

Михаил Рабинович1, Пабло Варона2

1BioCircuits Institute, US, UCSD, 9500 Gilman Drive, La Jolla, CA 92093-0328 2 Universidad Autónoma de Madrid, C Francisco Tomas y Valiente, 11, 28049 Madrid, Spain E-mail:mrabinovich@gmail.com; pablo.varona@uam.es

В данной слайдовой лекции мы предлагаем новую концепцию для построения математической теории когнитивных функций человека, включая сознание. Такие функции как творчество, принятие решений и предсказания, на основе анализа прошлого, описываются в рамках канонических динамических моделей в форме глобальных иерархических сетей. Блоки таких сетей кооперируются и конкурируют друг с другом за счет ингибирования. Активность сетей демонстрирует переходную цепочечную динамику, для описания которой мы используем гетероклинические структуры, представляющие в ментальном пространстве когнитивные компоненты на разных уровнях иерархии взаимодействия. Впервые мы строим систему кинетических экологических уравнений, описывающих взаимодействие эмоций и когнитивных функций на всех уровнях иерархии. Особенно это необходимо для описания разных этапов творчества. Мы исследуем кооперацию мозга человека и искусственного интеллекта на примере музыкальных импровизаций и создания «кооперативной» музыки. Например, когда робот комплектует информационные группы и на их основе рабочую память, а человек использует эмоции и интуицию для отбора. Уровень творчества оценивается по величине энтропии Колмогорова-Синая. Анализ совместного музыкального творчества человека и искусственного интеллекта может быть полезен для разных приложений, в частности, для диагностики некоторой группы психиатрических заболеваний.

Ключевые слова: Сознание как последовательный динамический процесс, ингибитор-ные сети мозга, иерархические группы информационных паттернов, многокомпонентные функции и группировка, последовательная динамика рабочей памяти, совместная ментальная активность робота и человека.

DOI: 10.18500/0869-6632-2017-25-3-5-51

Образец цитирования: Рабинович М., Варона П. Математика сознания // Известия вузов. Прикладная нелинейная динамика. 2017. Т. 25, № 3. С. 5-51.

* Авторская презентация лекции «Modeling of Consciousness Dynamics: Decision Making & Creativity», озвученной на Muri Winter School 2017 «Dynamics of Multifunction Brain Networks», January 11-13, 2017, UC San Diego, US.

MATHEMATICS OF MIND

Mikhail Rabinovich1, Pablo Varona2

1BioCircuits Institute, US, UCSD, 9500 Oilman Drive, La Jolla, CA 92093-0328 2Universidad Autonoma de Madrid, C Francisco Tomas y Valiente, 11, 28049 Madrid, Spain E-mail:mrabinovich@gmail.com; pablo.varona@uam.es

In this slide-lecture we formulate a novel paradigm for the mathematical description of mental functions such as consciousness, creativity, decision making and prediction of the future based on the past. Such cognitive functions are described in the framework of canonical nonlinear dynamical models that form joint global hierarchical networks. Subnetworks cooperate and compete with each other by inhibition. The suggested approach uses heteroclinic dynamics to represent transitivity and sequential interaction of different cognitive modalities at all levels of network hierarchy. For the first time we build a model of global network dynamics based on a set of kinetic ecological equations describing the interaction with emotion at each level of the hierarchy. This makes the model applicable for the description and understanding of perception, creativity and other complex cognitive processes. We discuss the creativity phenomenon, for example, in a joint «human-robot mind» considering the approximation in which the artificial partner is responsible for the binding and retrieving of multimodal perception information. The formation of chunks and the creation of working memory is a joint effort - human-robot mind. The human mind is responsible for the evaluation of the information in working memory. Creativity is estimated by Kolmogorov-Sinai entropy. As an example, we discuss joint human-robot musical improvisation, which can be generalized for many applications, in particular, in the context of artificial intelligence applications and to address several psychiatric disorders.

Keywords: Consciousness as a sequential dynamical process, inhibitory brain networks, hierarchical chunking of information patterns, multimodality and binding, working memory sequential dynamics, human-robot «joint mind».

DOI: 10.18500/0869-6632-2017-25-3-5-51

Paper reference: Rabinovich M., Varona P. Mathematics of mind. Izvestiya VUZ. Applied Nonlinear Dynamics. 2017. Vol. 25, Iss. 3. P. 5-51.

Самое увлекательное - это размышлять о том, как мы мыслим.

Фольклор

Сейчас кажется очевидным, что человеческое поведение представляет собой последовательность элементарных актов - операций, приемов или процедур, сменяющих друг друга во времени. Вспомним танцы, игру на музыкальных инструментах, приготовление кофе или выступление на конференции. Любой из этих процессов, если отвлечься от механизмов генерации программы элементарных действий, легко может быть смоделирован математически с помощью цепочечных моделей. Последовательные элементы, конечно, могут быть различными. Если же мы задумаемся о том каким образом создается в мозгу программа подобного поведения, то есть как организуется смена одного метастабильного состояния цепочки другим и как формируются сами эти состояния, то задача покажется очень сложной и даже невыполнимой. Это впечатление лишь усилится, если мы попытаемся объяснить воображаемые последствия наших действий в настоящем.

Именно поэтому выглядит естественной расхожая точка зрения - интеллект и само сознание это настолько интригующие и даже мистические явления, что они недоступны для формализации и математического описания. Цель данной обзорной лекции в картинках представить альтернативную точку зрения и, если не убедить читателя, то заинтересовать его настолько, что он сам начнет размышлять, как же

мы мыслим, а данная лекция представит ему для этого экспериментальные материалы. Мы сосредоточим внимание на недавних экспериментах, моделях и эволюционных подходах, чтобы проиллюстрировать возможность описания с помощью методов нелинейной динамики таких когнитивных явлений, как творчество, принятие решений, управление вниманием и рабочей памятью.

Сознание, как известно, теряется, когда из строя выходят или попадают под анестезию основные, или центровые структуры, наиболее плотно связанные анатомически друг с другом и, возможно, не напрямую со многими другими структурами. Сознание также пропадает, если нарушается нормальное динамическое взаимодействие между комплексами мозга. Например, когда они в результате чрезмерного возбуждения переходят в режим почти полной взаимной синхронизации, то есть в эпилептический припадок.

В последние пять-семь лет под влиянием впечатляющих экспериментальных данных, в первую очередь, исследования пространственно-временной активности мозга в процессе выполнения когнитивных функций (анализ функциональных магнитно-резонансных паттернов) практически установлено, что функциональная активность мозга это переходный процесс, к которому применимы такие динамические характеристики, как структурная устойчивость, бифуркации, энтропия Колмогорова-Синая, размерность и т.д.

Считается, что сознание есть результат взаимно скоординированной (иногда еще говорят интегральной) активности большинства когнитивных структур мозга. Разные когнитивные функции выполняются разными иерархическими сетями (networks), каждая из которых объединяет большое число субструктур мозга. Подобную сеть можно рассматривать как нерегулярную дискретную решетку, активность которой представляется набором мод или возбуждений. Переходная динамика, отвечающая когнитивному процессу, есть не что иное, как последовательная смена мод в результате из взаимного подавления по принципу «конкуренция без победителя».

В английском языке помимо слова brain (мозг), есть еще слово mind, которое переводится по разному - разум, интеллект и даже сознание. Мы используем это слово в смысле «пространство когнитивных функций мозга». Для построения математической теории сознания это пространство очень естественно, нужно только удачно ввести динамические переменные.

Психологи на основании огромного количества эмпирических данных разделяют следующие стадии творчества. 1. Предварительная формулировка проблемы и подсознательное набрасывание идей. 2. Инкубационная стадия, когда отбираются наиболее интересные идеи, осознаются детали. 3. Инновационная стадия, где центральным является момент озарения, то есть бифуркация «Эврика». 4. Проверка и оценка сгенерированного решения (мысли, способа и т.д.). Здесь согласованно работают такие когнитивные нетворки, как автобиографическая память (эпизодическая и семантическая), внимание, эмоциональная поддержка, рабочая память и принятие решений. Все вместе эти нетворки образуют иерархическую сеть, динамика которой на разных стадиях решения задачи различна. От случайного блуждания (стадия 1) система переходит в режим регулярной инспекции рабочей памяти - гетероклини-ческие циклы (стадия 2). Затем при взаимодействии рабочей памяти с квазипериодической динамикой внимания в момент «Эврика» рождается хаос или новое мета-стабильное состояние (стадия 3). Далее принимается решение - то ли мы получили, что нам нужно (стадия 4).

Даже такое шаржированное описание дает представление о далеко идущих возможностях применения нелинейной динамики к описанию процесса творчества и сознания в целом.

MURI Winter School 2017

Modeling of consciousness dynamics: Decision making & Creativity

Mikhail Rabinovich BCI at UCSD with Pablo Varona Madrid, Alan Simmons WG and Cognitive Dpt UCSD, and Shlomo Dubnov Music Dpt UCSD

January 12

PLAN

What we are going to model: From brain to mind - global networks dynamic. Consciousness

Principles of the modeling supported by behavioral and imaging experiments

Sequential dynamics of WLC networks

We focuses on two conscious processes - creativity & decision making

Hierarchy in brain and mind

Attention & memory are dynamical processes

o

oj hs

" kS

o o ^ s

-J »

Rabinovich et al., TiCS 2015

Functional Network

Predicted Cognition & Behavior

Sequential (MRI signal

Environment

CONSCIOUSNESS

Is a continuous process of inference of the world and any aspects of our life -mechanism of updating our memory and

beliefs

SERIAL TRASIENT CODING IN MONKEY PREFRONTAL CORTEX

(multieiectrode recordings )

Activation State Space

K

w td

Ld

S 53

Ö Ox « R Ä

.H o

Ob

to R y, „-C

oj hs

* kS

o o ^ ä

a

o

cft C <D

E o

t=1

P2,

P1,

• P1

/ P1

P1

t

t-n

Dimension 1

Two different trajectories (corresponding to different strategies) in a 3D "phase space". Time t reflects the multidimensional distance in the population response

0,5

X 0.4

<r

-a

c 0.3

c

o s 0.2

o <£ w 0.1

co

to

Ü 0

c

I— s -0.1

rv

CL -0.2

Context-Dependent Coding

a/v\

Stimulus-Dependent Coding

0 100 200 300 400 500 600 Time relative to Choice Onset (ms)

(Stokes et al., Neuron, 2013)

During decision making, the response to a choice stimulus is characterized by an initial stimulus-specific population response but evolves to different final decision related states depending on the current rule

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ODOR ENCODING BY WLC NETWORK

LOCUST BRAIN IMAGE (ANTENMAL LOBE)

Identity code

JL, o,

JL, 0,

8 competitive

9 network

Spatio-temporal code

t-TTl

8

9

JTl

T

' Time

>

1 0 0

0 o 1 o 0

0 0 1

1 1 0

Rabinovich et al., PRL 2001; SCIENCE 2008

CO h-o

LU

C/) Z

o o

¿'W-'l.

- rr.-,.:. -.vi.' ".vi."

i—^

PROJECTION

© K &

w

w ^

3 o* ^ s

Ld

Winnerless Competition is the dynamical origin of a stable heteroclinic chain

- sequence of metastable states

« bs H>§

i?

to o

9

$

COGNITIVE DYNAMICS ARE COMPETITIVE AND TRANSIENT

Stable Heteroclinic Channel

M

Simple Heteroclinic Chain - Landscape Metaphor

oj hs

o o ^ ä

a

A set of dissipative saddles that are sequentially connected by unstable separatrices. The stability of a channel means that trajectories in the channel do not leave it until the end of the channel is reached.

Afraimovich et al., Chaos, 2004; Rabinovich et al., SCIENCE 2008

TASTES ENCODING BY TRANSIENT ENVELOPE DYNAMICS

A. Stimulus-specific sequences in GC for 4 different tastes ;

B. The sequences of metastable states are reproducible in

spite of the irregularity in their switching times (Jones et at pnas

2007).

A Sucrose

1 Î 3 4

<

P 2 'KHUBS

Quinine

Citric Acid

TtXT^ 'E ^ HSGEE

ÎTTT reruns Bii—w nri^'

1 set

Jazz musician in an fMRI scanner

14

R

-17

Limb CJ, Braun AR (2008) PLoS ONE 3:e1679

fMRI predicts mental states from local patterns of blood oxygen-level-dependent (BOLD) signal across voxels

sf COMPETITIVE FUNCTIONAL NETWPORKS

o td

w

w ^

3 o*

s o

Ob

s

a--6

ga

« b3 ft

&

to o

250 Time, s

Fox et a/., PNAS, 2005; see also Yuste & Fairhall "Temporal dynamics in fMRI resting state activity", PNAS, 2015

to o

COGNITION RESULTS FROM DYNAMIC INTERACTIONS OF

DISTRIBUTED BRAIN AREAS

Specialized global brain network interaction

oj bs

* kS

o o ^ ä

ft

The 'dreaming-creativity' - the default network and attention-control networks connections; interregional pairwise connectivity graph within and between the default (blue), dorsal attention (red), and frontoparietal control (green) networks are shown, (see Spreng et al., 2013 J. Cogn. Neurosci, 25: 74-86).

© s &

w

w "a

3 o* ^ s

« b3

H>§

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

y> »

i? o

SPATIOTEMPORAL CODE FOR INFORMATION PROCESSING IN THE BRAIN

Colored nodes form different modes of functional network that are sequentially switching

Consciousness is characterized by robust sequential dynamics of resting-state brain activity

s

es

l© .h o>

« K »

.H ©

OS

KJ S

y. „-c

lo' ~

uj to

NJ

o o

I— s

-J 5

0.4

if® • 8 • • ■ « «

* A A 4

0

CD >

N 0.3

"i-1-1-1-1-1-1-r

120 240 360 480 600 720 840 960 1080

Time (s)

Inserted matrices show whole brain connectivity patterns at different time points.

Barttfeld et al., 2015. Signature of consciousness, PNAS 112, #3

о

о.

сз

О)

о ш

Three Levels Hierarchy of an Autobiographic Memory: Chunk

Networks

K

w td

td ^

w o td

a a

ö

©

oj hs

* kS

o o ^ ä

a

Each level of chunking (grouping) is described by its own equations connected with other ievels of hierarchy

M.I. Rabmovich, P. Varona, I. Tristan, VS.Afraimovich Chunking dynamics: tieterocl lines in mind. Frontiers in Computational Neuroscience 3: 22, 2014

CHUNKING DYNAMICS

1.5 1

0.5 0

0

Temporal hierarchy of chunking-superchunking dynamics: time series of the sequences of the three-level hierarchy -108 items grouped in 18 chunks of 6 items; these chunks form 3 superchunks of 6 elements each displaying reproducible dynamics

The projection of a nine-dimensional phase portrait of two-levels chunking dynamics in the space of three-dimensional auxiliary variables

0

2 > 1

0

2

0

8

x

' / \ r \ / \ "

J Y / \ . / V

- 4

200

400

600 time

800

1000

1200

CHUNKING DYNAMICS

1.5 1

0.5 0

0

Temporal hierarchy of chunking-superchunking dynamics: time series of the sequences of the three-level hierarchy -108 items grouped in 18 chunks of 6 items; these chunks form 3 superchunks of 6 elements each displaying reproducible dynamics

The projection of a nine-dimensional phase portrait of two-levels chunking dynamics in the space of three-dimensional auxiliary variables

0

> 1

o

2

" 1

>

0 8

>- 4

' /—\ /—\ i \ "

J V 1. \ . J. \

200

400

600 time

800

1000

1200

DIFFERENT MEMORY -DIFFERENT RETRIVIAL

DYNAMICS

Human Memory

I

Sensory Memory

(< 1 sec)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

!

Short-term Memory (Working Memory)

{< 1 min)

I-

Explicit Memory

(conscious)

Declarative Memory

(facts, events)

I-

Episodic

Memory

(events, experiences)

I

Long-term Memory

(life-time)

Implicit Memory

(unconscious)

Procedural Memory

(skills, tasks)

Semantic Memory

(facts, concepts)

Semantic Chunks Instability: Origin of Creativity is a Chaotic Walk

Left panel: conceptual network of topic-chunks in the cognitive semantic space.

Right panel: metastable state with a multi dimensional unstable separatrix in the phase space of chunk dynamics.

o

Q travel shopping

friends | (3

o

O

hospital

Europe^. Q

_ ' car accident

(ove

\ V I X/ \ \L

A_

familv V conference sport V, y

--HI

rest job

Binding dynamics

Figure skater has to coordinate:

• Skate details

• Music

• Personal emotions

_ vim \rlm

H

j-1 m-1

'1 '1*2 '2 '3

Hierarchical channel and a trajectory corresponding to the three-modality binding (Rabinovich et al., 2010)

© s &

w

w "a

3 o* ^ s

Ld

« bs H>§

y> »

i? o

Cross-Modality Attention Sharing Regimes

A,

//

/

! A /

r //

R1

¿d.

R3

Rabinovich, Tristan, Varona Neuroscience and Biobehavioral Reviews 55: 18-35,2015.

Rabinovich. Tristan. Varona. PLoS ONE 8(5): e64406. 2013.

Principal components - mode's dynamics The model does not depend on the specific

informational content

m

R(l,t)=^Pm (l,t)

m=\

dP

m

dt

= Pm (I, t) ■

Pm(l,i)=Rm[t)Qm(I) is the m-th spatio-temporal mode that depends on time and is based on the set of discrete coordinates in the brain space (voxels coordinates], Rm{t) represents the temporal evolution of the m-th mode whose temporal structure is represented by Q^tO, the projection function of the m-th mode, and M is the number of modes.

DECSION MAKING:

Cognitive modes interaction

Cognitive goal

Environment

Memory and Working memory

Attention

Perception

Meaningful learning

Multidimensionality processing

Decision making

Behavior

Episodic Memory Dynamics - Traveling

in Time

Traveling in the Past- Association with episodes: The successful retrieval of memory depends on a match between encoding information and retrieval cue

Traveling in the Future - Future steps in the present are predicted by the similar experience in the past

When remembering the past - or envisioning the future - events often come to mind in organized sequences or stories rather than in isolation from one another

© »^

5

bs

y ft &

u>

to o

The goalkeeper decision making

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Typical attacking pattern, ball passing, in a soccer field.

0.9

Ek

Example of past episode interaction during the recall from EM.

P. Varona, M.I. Rabinovich. 2016. Hierarchical dynamics of informational patterns ancl decision-making

Proceedings of the Royal Society of London B: Biological Sciences 283 <1832): 20160475

oj t/i

40

time

80

100

Events & Episodes Dynamics

A/11

e.

v /

j=i

events

A

1 -b^ef-Z'

1 = I

N episodes

^episodes A/ erewv

/( 1 .. . N episodes

k = 1... TV

2 ^

episodes

k = 1 /V

^ ' ' , v episodes

1=1

/—Jt j=l

Varona & Rabinovich, Proc. Royal Soc. 2016

Computational results of Action-Based Decision-Making

10 8

J---

100 200 300 400 500 600 700 800 time

100 200 300 400 500 600 700 800 time

Time series of the event dynamics for the non-finished present episode

(eq. (3)).

Event dynamics for the winning episode from the episodic

memory.

Creativity

is a self-generation of new thoughts, melody and other patterns characterized by a finite value of information

• Interaction between default modes network, autobiographical memory network and emotion: model of complex WLC networks with sequential dynamics

• Two mechanisms of new pattern generation:

(i) changing the architecture of global networks when new connections appear; the new network demonstrate new patterns or engrams, and

(ii) a pure dynamical mechanism related to an "a-ha" bifurcation in mental phase space when the dynamics of one mental network modulate the dynamics of another one. As a result in phase space new metastable states appear. New mental network based on them is a mathematical image of creativity

r»DC ATI\/ITV KICTIA/ADI/O

Green = The Executive Attention Network; Red = The Imagination Network; Yellow = The Salience Network. (National Academy of Sciences)

o

Goal dependent reorganization of functional networks

The specific brain state of musical creation is formed when professional composers are composing, in which the integration of the primary visual and motor areas is not necessary. Instead, the neurons of these areas are recruited to enhance the functional connectivity between the anterior cingulate cortex (ACC) and the default mode network (DMN) to plan

the integration of musical notes with emotion.

S

w td

Ld ^

w

0 td

1

m

ö

©

oj bs

* kS

o o ^ ä

a

PoCG

IOG

PoCG .R PoCG.

PoCG.R

IOG.L2

Resting state p<0.05 FDR

Composing stale >Restmg state /X0.Ü5 FDR

Lu et al., 2015, The Brain Functional State of Music Creation: an fMRl Study of Composers, Scientific Reports | 5:12277

'A' and B show the layout of nodes and undirected edges of networks during different states, respectively. 'C: shows the different functional connectivity between the composing state and the resting state The functional connectivity between visual and motor areas in primary networks has decreased (blue lines), whereas the functional connectivity between the ACC and the DMN increased (red iine) in the composing state.

© s &

w

w ^

3 o* ^ s

Ld

New informational patterns generation by rhythmic

modulation of WLC activity

« bs H>§

y> »

i?

to o

360

0.31

Rabinovich et al., PRL2006

Sharing of Functions Between Partners: robot is keeping autobiographic memory & human performs

consciousness functions

s

w td

Ld ^

w o td

a a

to

©

oj hs

* kS

o o ^ s

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

-J ft

Cartoon architecture of joint human-robot brain networks. Human subnetworks are represented in black, robot subnetworks are represented in green.

Rabinovich & Varona, Frontiers in Neuroscience- Neuroprostetic, 2016 (subm.)

© s &

w

w "a

3 o*

i .1 r-

td

« bs ft

&

u>

to o

Hierarchical Dynamics of Music Improvisation

= Xj"

N

N M

events JVI

\

H

/=] ¿=1

memory retrieving and binding

rY' = Y1

\

N.

V Ai

y'-l m-1

chunking

episodes

N

1 events

/=i

/V

= e.

jf-i

» A.-]

emotion-attention control

Emotion is a cultural and psychobiological adaptation mechanism which allows each individual to react flexibly and dynamically to environmental contingencies

Modeling results

X?-

A7-

0 50 100 150 200 250 300 350 300 time (a.u.)

S

w td

td

S 53

tt Ox « K

s

.H o

Ob

to R y, ,-c

oj hs

* kS

o o ^ s

-J ft

ISO 200 250 300 350 300 time (a.li.)

Upper panel: Example of the event dynamics -sequential time series— corresponding to the rhythm modality X'1; each musical unit (event) is represented by a different color. Lower panel: associated

time series for three competitive episodes Yl (7=1,2,3), displayed in different colors presented by a

different color. Lower panel: associated time series for three competitive episodes Y' (/=1,2,3),

displayed in different colors. Kohnogorov-Sinai entropy K = ^ for system (1-4) gives the value

A'=0.045, w hich is a quantitative measure of flic creativity level.

Phase Portraits

Oh

Upper panel: phase portrait trajectory of corresponding units from different modalities Xl'". Middle panel: phase portrait trajectory for odd units in the second modality. Bottom panel: episode phase portrait.

OS

S

w td

td

S 53

Ö Ox « R Ä

.H o

Ob

to R y, ,-c

oj hs

o o ^ ä

ft

Phenomenon

Sequential h etero clinic Switching

Sequential h etero clinic binding and information flow

Hetero clinic cooperation

Hierarchical

chunking memory and learning

Network formalism*

X, = X\ a, -

%P»X>

X - X \ a -

r."1 XT - x"

.V \

-z*

6Zk =

T Y -Fill

Phase portrait

Ö; iL Q'„

r; j;'. it

JÉV8^

i. ■> »

Time series

■JOD 300

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

time

S

_ _ (3 3

\. r\ — Xf — r\. r\

i /(fx ÉI Ifl

0 Ï0 « 60 00 100 120 no 160

time

DYNAMICAL IMAGE OF OBSESSIVE COMPALSIVE

DISORDER

cognition

Rabinovich et al., 2012, PLoS

ritual activity

OS

cognitive modes I

15

cognitive modes II

THE END

В дополнение к литературе, указанной на слайдах (cM.References [1-28]), рекомендуем ознакомиться с недавними публикациями по данному направлению [29-48].

References

1. Rabinovich M.I., Simmons A.N., Varona P. Dynamical bridge between brain and mind. Trends in Cognitive Sciences. 2015. Vol. 19(8). Pp. 453-461.

2. Stokes M., Kusunoki M., Sigala N., Nili H., Gaffan D., Duncan J. Dynamic coding for cognitive control in prefrontal cortex. Neuron. 2013. Vol.78(2). Pp. 364-375.

3. Rabinovich M, Huerta R, Laurent G. Transient dynamics for neural processing. Science. 2008. Vol. 321(5885). Pp. 48-50.

4. Cunningham J.P., Yu B.M. Dimensionality reduction for large-scale neural recordings. Nature Neuroscience. 2014. DOI: 10.1038. nn.3776.

5. Rabinovich M., Volkovskii A., Lecanda P., Huerta R., Abarbanel H.D.I.; Laurent G. Dynamical encoding by networks of competing neuron groups: Winnerless competition. Physical Review Letters. 2001. Vol. 87(6): 068102.

6. Afraimovich V.S, Zhigulin V.P, Rabinovich M.I. On the origin of reproducible sequential activity in neural circuits. Chaos. 2004. Vol. 14(4). Pp. 1123-1129

7. Jones L.M., Fontanini A., Sadacca B.F., Miller P., Katz D. B. Natural stimuli evoke dynamic sequences of states in sensory cortical ensembles. PNAS. 2007. Vol. 104(47).

8. Limb C.J., Braun A.R. Neural substrates of spontaneous musical performance: An fMRI study of jazz improvisation. PLoS ONE. 2008. 3(2). doi:10.1371/journal.pone.0001679.

9. Fox M.D., Snyder A.Z., Vincent J.L., Corbetta M., Van Essen D.C., Raichle M.E. The human brain is intrinsically organized into dynamic, anticorrelated functional networks. PNAS. 2005. Vol. 102. Pp. 9673-9678.

10. Yuste R., Fairhall A.L. Temporal dynamics in fMRI resting state activity. PNAS. 2015. Vol. 112(17).

11. Spreng R.N, Sepulcre J., Turner G.R., Stevens W.D., Schacter D.L. Intrinsic architecture underlying the relations among the default, dorsal attention, and frontoparietal control networks of the human brain. J. Cogn. Neuroscience. 2013. Vol. 25. Pp. 74-86.

12. Barttfeld P., Uhrig L., Sitt J.D., Sigman M., Jarraya B., Dehaene S. Signature of consciousness in the dynamics of resting-state brain activity. PNAS. 2015. Vol. 112(3). Pp. 887-892.

13. Rabinovich M.I., Varona P., Tristan I., Afraimovich V.S. Chunking dynamics: Heteroc-linics in mind. Frontiers in Computational Neuroscience. 2014. Vol. 8(22).

14. Rabinovich MI, Afraimovich VS, Varona P. Heteroclinic binding. Dynamical Systems. 2010. Vol. 25(3). Pp. 433-442.

15. Rabinovich M.I., Muezzinoglu M.K., Strigo I., Bystritsky A. Dynamical principles of emotion-cognition interaction: mathematical images of mental disorders. PLOS ONE. 2010. Vol. 5(9): e12547.

16. Rabinovich M.I., Muezzinoglu M.K. Nonlinear dynamics of the brain: Emotion and cognition. Physics-Uspekhi. 2010. Vol. 53(4). Pp. 357-372.

17. Muezzinoglu M.K., Tristan I., Huerta R., Afraimovich V.S., Rabinovich M.I. Transient versus attractors in complex networks. International Journal of Bifurcation and Chaos. 2010. Vol. 20(6). Pp. 1-23.

18. Muezzinoglu M.K., Vergara A., Huerta R., Rabinovich M.I. A sensor conditioning principle for odor identification. Sensors and Actuators B-Chemical. 2010. Vol. 146. Pp. 472-476.

19. Bick C., Rabinovich M.I. On the occurrence of stable heteroclinic channels in Lotka-Volterra models. Dynamical Systems. 2010. Vol. 25. Pp. 95-110.

20. Rabinovich M.I., Tristan I., Varona P. Hierarchical nonlinear dynamics of human attention. Neuroscience and Biobehavioral Reviews. 2015. Vol. 55. Pp. 18-35.

21. Rabinovich M.I., Tristan I., Varona P. Neural dynamics of attentional cross-modality control. PLOS ONE. 2013. Vol. 8(5): e64406.

22. Varona P., Rabinovich M.I. Hierarchical dynamics of informational patterns and decisionmaking. Proceedings of the Royal Society of London B: Biological Sciences. 2016. Vol. 283 (1832): 20160475. DOI: 10.1098/rspb.2016.0475.

23. Lu J., Yang H., Zhang X., He H., Lu C., Yao D. The brain functional state of music creation: an fMRI study of composers. Scientific Reports. 2015. Vol. 5:12277

24. Rabinovich M.I., Huerta R., Afraimovich V.I. Dynamics of sequential decision making. Phys. Rev Lett. 2006. Vol. 97(18): 188103.

25. Rabinovich M.I., Huerta R., Varona P. Heteroclinic synchronization: ultrasubharmonic locking. Phys Rev Lett. 2006. Vol. 96(1): 014101.

26. Rabinovich M.I., Varona P. Frontiers in neuroscience-neuroprosthetic. 2016 (paper submitted.)

27. Rabinovich M.I., Afraimovich V.S., Bick C., Varona P. Information flow dynamics in the brain. Physics of Life Reviews. 2012. Vol. 9(1). Pp. 51-73.

28. Rabinovich M.I., Afraimovich V.S., Bick C., Varona P. Instability, semantic dynamics and modeling brain data. Physics of Life Reviews. 2012. Vol. 9(1). Pp. 80-83.

29. Jun Tani. Exploring Robotic Minds: Actions, Symbols, and Consciousness as Self Organizing Dynamic Phenomena. Oxford University Press, 2017.

30. Barron A.B., Klein C. What insects can tell us about the origins of consciousness. PNAS. 2016. May 3. Vol. 113, No. 184900-4908.

31. Key B., Arlinghaus R., Browman H.I. Insects cannot tell us anything about subjective experience or the origin of consciousness. PNAS. 2016. July 5. Vol.113, No. 27E3813.

32. Koch C., Massimini M., Boly M., Tononi G. Neural correlates of consciousness: Progress and problems. Nat. Rev. Neurosci. 2016. Apr. Vol. 17, No. 5, Pp. 307-321.

33. Dehaene S., Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts. Penguin, 2014.

34. Dehaene S., Charles L., King J.R., Marti S. Toward a computational theory of conscious processing. Curr. Opin. Neurobiol. 2014. Vol. 25. Pp. 76-84.

35. Varona P., Rabinovich M.I. Hierarchical dynamics of informational patterns and decision making. Proc. R. Soc. B. 2016. Vol. 283. P. 20160475.

36. Beaty R.E., Benedek M., Silvia P.J., Schacter D.L. Creative cognition and brain network Dynamics. Trends Cogn. Sci. 2016. Vol. 20, No. 2. Pp. 87-95.

37. Schurger A., Gale S., Gozel Olivia, Blanke Olaf. Performance monitoring for brain-computer-interface actions. Brain and Cognition. 2017. Feb. Vol. 111. Pp. 44-50.

38. Sharma Shivani, Babu Nandita. Interplay between creativity, executive function and working memory in middle-aged and older adults. Creativity Research Journal. 2017. Vol 29. Pp. 71-77.

39. Silva Rui, Louro Luis, Malheiro Tiago, Erlhagen Wolfram, Bicho Estela. Combining intention and emotional state inference in a dynamic neural field architecture for humanrobot joint action. Adaptive Behavior. 2016. Vol. 24(5). Pp. 350-372.

40. Beaty R.E., Silvia P.J., Benedek M. Brain networks underlying novel metaphor produc-

tion. Brain and Cognition. 2017. Vol. 111. Pp. 163-170.

41. First M., Williams J., Karg R., Spitzer R. Structured clinical interview for DSM-5. Research Version. SCID-5 for DSM-5, Research Version (SCID-5-RV). American Psychiatric Association. Arlington, VA, 2015.

42. Rabinovich M.I., Simmons A.N., Varona P. Dynamical bridge between brain and mind. Trends Cogn. Sci. 2015. Vol. 19, No. 8. Pp. 453-461.

43. Rabinovich M.I., Sokolov Y., Kozma R. Robust sequential working memory recall in heterogeneous cognitive networks. Front. Syst. Neurosci. 2014. Jan. Vol. 8. P. 220.

44. Rabinovich M.I., Varona P. Functional dynamical networks in joint human-robot creativity. Front. Comput. Neurosci. 2017 (paper submitted).

45. Barttfeld P., Uhrig L., Sitt J.D., Sigman M., Jarraya B., Dehaene S. Signature of consciousness in the dynamics of resting-state brain activity. Proc. Natl. Acad. Sci. U.S.A. 2015. Jan. Vol. 112, No. 3. Pp. 887-892.

46. Lu J., Yang H., Zhang X., He H., Luo C., Yao D. The brain functional state of music creation: An fMRI study of composers. Sci. Rep. 2015. Jan. Vol. 5. P. 12277.

47. Bajaj S., Adhikari B. M., Friston K. J., Dhamala M. Bridging the gap: Dynamic causal modeling and granger causality analysis of resting state functional magnetic resonance imaging. Brain Connect. 2016. Jan. Vol. 6, No. 8. Pp. 652-661.

48. Andrews-Hanna J.R., Smallwood J., Spreng R.N. The default network and self-generated thought: Component processes, dynamic control, and clinical relevance. Ann. N.Y. Acad. Sci. 2014. 1316. Pp. 29-52.

Поступила в редакцию 20.02.2017

ь

Михаил Израилевич Рабинович (род. 20 апреля 1941, Горький, Горьковская область, РСФСР) - советский и американский учёный-физик, доктор физико-математических наук, специалист по теории колебаний и волн, динамическому хаосу и теории турбулентности, физике классических нелинейных полей. Пишет стихи. Доктор физ.-мат. наук (1974), профессор (1980), чл.-корр. АН СССР (1991). В 1990 работал в качестве приглашенного профессора в Чикагском университете, с 1991 - профессор Калифорнийского университета в Сан-Диего. Основатель и Президент Международного центра Перспективных Исследований (Нижний Новгород, 1994-2002). С 2004 года живет в США. Область научных интересов - прикладная математика, динамический хаос и теория турбулентности, нелинейная динамика классических полей, нейродинамика и динамика когнитивных процессов. Автор более двухсот научных работ и пяти монографий.

US, UCSD, 9500 Oilman Drive, La Jolla, CA 92093-0328

BioCircuits Institute

E-mail: mrabinovich@gmail.com

Pablo Varona received his degree in Theoretical Physics in 1992 and the PhD in Computer Science in 1997 from Universidad Autonoma de Madrid (UAM). He was a postdoc and later an assistant research scientist at the Institute for Nonlinear Science, University of California, San Diego. Since 2002 he is an associate professor at the Escuela Politecnica Superior, UAM. Among his main research interests are transient dynamics in neural systems, the design of novel activity-dependent stimulation protocols for neuroscience research, and bio-inspired neural networks, robotics and devices.

C Francisco Tomás y Valiente, 11, 28049 Madrid, Spain Universidad Autónoma de Madrid E-mail: pablo.varona@uam.es

i Надоели баннеры? Вы всегда можете отключить рекламу.