CC BY
29
Нелинейная
^^^^^^^^ динамика и нейронаука
Известия высших учебных заведений. Прикладная нелинейная динамика. 2023. Т. 31, № 2 Izvestiya Vysshikh Uchebnykh Zavedeniy. Applied Nonlinear Dynamics. 2023;31(2)
Обзорная статья DOI: 10.18500/0869-6632-003033
УДК 57.024 EDN: JSTBXP
Теория интегрированной информации и её применение к анализу нейронной активности головного мозга
И. А. Нажесткин1 О. Е. Сварник1'2
Московский физико-технический институт (национальный исследовательский университет), Россия 2Институт психологии РАН, Москва, Россия E-mail: Elnazhestkin@phystech.edu, olgasvarnik@gmail.com Поступила в редакцию 30.10.2022, принята к публикации 18.02.2023, опубликована онлайн 2.03.2023, опубликована 31.03.2023
Аннотация. Цель настоящего обзора — рассмотреть возможность применения теории интегрированной информации к анализу нейронной активности головного мозга. Ранее было показано, что коэффициент интегрированной информации Ф отражает степень динамической сложности системы и способен предсказывать степень успешности её работы, определяемую классическими наблюдаемыми критериями. Исходя из этого, становится актуальным вопрос относительно применения теории интегрированной информации к анализу изменений в спайковой активности головного мозга в процессе приобретения нового опыта. Заключение. Были рассмотрены основы теории интегрированной информации и её возможное применение в нейробиологии для исследования процесса приобретения нового опыта. Показано, что коэффициент интегрированной информации Ф является метрикой, способной оценить динамическую сложность нейронных сетей головного мозга, увеличивающуюся с приобретением опыта. Предложены методы, позволяющие на практике вычислить значение коэффициента Ф для данных нейронной активности.
Ключевые слова: мозг, информация, обучение, теория интегрированной информации, сложность.
Благодарности. Работа выполнена при поддержке РФФИ, грант № 20-013-00851.
Для цитирования: Нажесткин И. А., Сварник О.Е. Теория интегрированной информации и её применение к анализу нейронной активности головного мозга//Известия вузов. ПНД. 2023. T. 31, № 2. С. 180-201. DOI: 10.18500/08696632-003033. EDN: JSTBXP
Статья опубликована на условиях Creative Commons Attribution License (CC-BY 4.0).
Review
DOI: 10.18500/0869-6632-003033
Integrated information theory and its application for analysis of brain neuron activity
I. A. Nazhestkinim, O.E. Svarnik1'2
1 Moscow Institute of Physics and Technology (National Research University), Russia 2 Institute of Psychology of Russian Academy of Sciences, Moscow, Russia E-mail: Elnazhestkin@phystech.edu, olgasvarnik@gmail.com Received 30.10.2022, accepted 18.02.2023, available online 2.03.2023, published 31.03.2023
Abstract. Purpose of this review is to consider the possibility to apply the integrated information theory to investigate the
brain neural activity. Earlier was shown that the integrated information amount Ф quantifies a degree of a dynamic complexity of a system and able to predict a level of its success defined by classic observable benchmarks. For this reason, a question arises about the application of the integrated information theory to analyse changes in brain spiking activity due the acquisition of new experience. Conclusion. The bases of the integrated information theory and its possible application in neurobiology to investigate the process of new experience acquisition were reviewed. It was shown that the amount of integrated information Ф is a metric which is able to quantify the dynamic complexity of brain neural networks increasing when the new experience is acquired. Methods, enabling the practical calculation of Ф for spiking data, were proposed.
Keywords: brain, information, learning, integrated information theory, complexity.
Acknowledgements. This work was supported by Russian Foundation for Basic Research, grant No. 20-013-00851.
For citation: Nazhestkin IA, Svarnik OE. Integrated information theory and its application for analysis of brain neuron activity. Izvestiya VUZ. Applied Nonlinear Dynamics. 2023;31(2):180-201. DOI: 10.18500/0869-6632-003033
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0).
Основы теории интегрированной информации
Теория интегрированной информации (Integrated Information Theory, IIT) и её основное понятие — коэффициент интегрированной информации Ф — первоначально были предложены для оценки уровня сознания в головном мозге [1-4]. С помощью IIT была предпринята попытка объяснить, каковы особенности нейронной активности, лежащей в основе феномена осознанных субъективных ощущений, почему они появляются именно благодаря работе головного мозга и возникают ли они в других сложных системах. Дж. Тонони предположил, что сознание возникает только в тех системах, где происходит интеграция информации. Коэффициент Ф оценивает две способности сложной системы, критически важные для её работы — сегрегацию информации и её интеграцию. Сегрегация означает, что система должна иметь возможность находиться в как можно большем числе состояний, чтобы генерировать как можно больше информации. При этом важно, чтобы компоненты системы были сильно специализированы, то есть были связаны с кодированием, например, только одного вида стимулов. Интеграция заключается в том, что такие компоненты системы должны быть взаимосвязаны между собой. Это критически важно для работы системы как единого целого. Малые значения Ф указывают либо на слабую генерацию специализированной информации компонентами системы, либо на то, что в системе имеется место со слабой взаимосвязью компонентов. И то и другое отрицательно сказывается на её производительности в задачах, наблюдаемой извне с использованием классических критериев.
Для лучшего понимания, почему и сегрегация, и интеграция важны, Тонони и коллеги приводят аналогию со светочувствительной матрицей фотоаппарата. Каждый из, например, миллиона
пикселей может находиться в одном из двух состояний (на него падает или не падает свет), и таким образом матрица способна закодировать 21000000 возможных состояний. Это означает, что способность матрицы к дифференциации информации очень высока — она способна различить очень большое количество поступающих на неё изображений. Однако никаких взаимозависимостей между состояниями пикселей нет, они полностью независимы и между ними нет никаких связей. Поэтому никаких выводов из закодированной информации сделать нельзя, никакая обработка поступившего изображения в такой системе невозможна. Таким образом, система способна только к хранению информации, но не использованию её для обработки и получения выводов.
С применением IIT были получены результаты, хорошо согласующиеся с уже имеющимися экспериментальными данными о малом вкладе мозжечка и большом вкладе коры головного мозга в процессы сознания [5], а также были показаны различия в предсказываемом уровне сознания в состояниях бодрствования, сна [6], анестезии [7] и при различных повреждениях мозга [8], что может быть полезно в медицине для определения, в сознании пациент или нет [9,10]. Однако в таком применении теория была подвергнута серьёзной критике. Во-первых, она приписывала высокий уровень сознания системам, которые не обладают сознанием исходя из здравого смысла, например, компьютерам. Во-вторых, сознание не зависит от наблюдателя, в отличие от информации, поэтому исходя из информации заявлять о присутствии сознания не корректно. Наконец, для вычисления показателя Ф используется набор дискретных состояний системы, что, хотя и является достаточным в большинстве случаев, приводит к потере информации — например, для тех же нейронов, у которых локальные полевые потенциалы кодируют большое количество информации [11,12]. Поэтому вопрос об описании уровня сознания этой теорией остаётся открытым.
В то же время было показано, что коэффициент интегрированной информации Ф хорошо описывает производительность других сложных систем, состоящих из некоторого количества взаимодействующих элементов [13,14]. По мнению исследователей, Ф показывает внутреннее состояние сложных самоорганизующихся систем, состоящих из отдельных элементов, в которых при определённом уровне сложности возникает порядок. Ф описывает внутреннюю структуру, приводящую к определённому поведению системы, к сложности возникающих в ней состояний («What the system is»), а не описывает наблюдаемые состояния системы извне («What the system does») [15,16]. Так, в работе [14] коэффициент интегрированной информации вычислялся на двух наборах данных: для команд людей, выполняющих задачи, напрямую связанные с командным взаимодействием, и для группы редакторов статей в Wikipedia. В первом случае 68 групп людей, из 4-х человек каждая, решали различные задачи, например, отвечали на интеллектуальные вопросы методом мозгового штурма или набирали текст в общем онлайн-редакторе. Общим во всех задачах было то, что участники команд должны были взаимодействовать друг с другом для успешного выполнения задания. В качестве узлов в сети выступали люди, которым в каждый момент времени приписывалось состояние «1», если человек в это время разговаривал, и «0», если молчал. Таким образом, коэффициент Ф оценивал генерацию информации в сети, состоящей из людей. В результате коллективный интеллект команд (среднее число баллов, набранное командами в процессе выполнения всех задач), статистически значимо коррелировал со значением Ф, рассчитанным за время работы команд (рис. 1, а). Во втором наборе данных рассматривалась история редактирования 999 наиболее важных статей в Википедии. Для каждой статьи рассматривались все люди, которые редактировали её. Коэффициент интегрированной информации Ф для таких групп людей оказался статистически достоверно связан с оценкой их статьи, выдаваемой пользователями на сайте (по пятибалльной шкале) (рис. 1, b).
В работе [13] коэффициент интегрированной информации рассчитывался для виртуальных модельных организмов («animats»), обучаемых навыку ориентирования в лабиринте. Организм
Рис. 1. Примеры применения теории интегрированной информации к анализу поведения различных сложных систем. a — Взаимосвязь между коэффициентом интегрированной информации и коллективным интеллектом для групп людей. b — Взаимосвязь между группами редакторов статей в Wikipedia и оценками данных статей. Адаптировано из [14]. c — Использование коэффициента интегрированной информации, рассчитанного различными методами, для оценки поведения виртуального организма в лабиринте. Слева: ход обучения организмов, показана нормированная фитнес-функция. Справа: изменение со временем коэффициента интегрированной информации, рассчитанного тремя различными способами. Между Ф и фитнес-функцией наблюдается корреляция. Адаптировано из [13] (цвет онлайн)
Fig. 1. Examples of the integrated information theory application for analysis of the action of different complex systems. a — Correlation between an integrated information coefficient and a collective intelligence for human groups. b — Relation between groups of Wikipedia editors and manuscript grades (1-5). Changed from [14]. c — Application of an integrated information coefficient calculated with different methods to quantify the behavior of a virtual entity in a maze. Left: learning process; a normalized fitness function is shown. Right: evolution of integrated information coefficient calculated with three different ways. A correlation between Ф and a fitness function is observed. Changed from [13] (color online)
имел сенсоры, движущие органы и внутренние промежуточные элементы для обработки информации, каждый из которых являлся узлом сети, имеющим состояние «0» или «1». Сеть из данных элементов работала по вероятностному принципу, с заданными вероятностями перехода из состояния в состояние. Организму требовалось пройти слева направо случайно генерируемый лабиринт со множеством вертикальных стенок, имеющих по одной двери в различных местах. Обучение организмов проводилось с помощью генетического алгоритма, в основе которого лежит применение на каждой итерации (поколении) случайных изменений (мутаций) и случайное слияние сгенерированных систем (скрещивание). При этом от поколения к поколению изменялись вероятности перехода и структура связей между элементами. В результате оказалось, что коэффициент интегрированной информации, рассчитанный для элементов сети (не для вероятностей перехода!) увеличивался с ходом обучения. Точно так же увеличивалась и функция приспособленности, показывающая успех организма, и зависящая от количества проходов через двери и расстояния до последней двери (рис. 1, с). Таким образом, показатель Ф предположительно оценивает характер
совместной работы системы, сложность взаимодействий между её элементами, обеспечивающую производительность в задачах, выполняемых системой.
Для головного мозга (in vivo и в симуляциях) коэффициент Ф также показывал взаимосвязь с развитием мозга и успешностью выполняемого поведения. В работе [17] в вычислительной модели головного мозга, в которой были симулированы 5.2 млн нейронов, производилось обучение по правилу Хэбба. Обучение характеризовалось ростом количество аттракторов (образующихся в результате самоорганизации стабильных паттернов активности нейронов, которые, по имеющимся сведениям, кодируют определённые стимулы [18,19] и таким образом прямо обеспечивают сегрегацию информации). После обучения был замечен рост показателя интегрированной информации. Для вычисления Ф по 5.2 млн модельных нейронов из мембранных потенциалов нейронов были симулированы сигналы, регистрируемые с помощью электроэнцефаллографии (ЭЭГ) по закону Кулона [17]. В работе Дж. Ислера с соавторами [20] коэффициент интегрированной информации вычислялся для ЭЭГ, записанной у новорождённых детей, в зависимости от возраста (в днях). Было показано, что показатель Ф растёт вместе с возрастом. Поскольку в детском возрасте происходит активное развитие мозга, данный факт подтверждает гипотезу о том, что Ф описывает развитие сложной системы. В работе [21] при обучении животных пространственному навыку коэффициент Ф для нейронной активности гиппокампа, рассчитанный различными способами, имел положительную корреляцию с метрикой успешности обучения, зависящей от среды — количеством вознаграждений, выдаваемых животному. В работе [22] аналогичный результат был показан при пространственно-аверсивном (связанным со страхом) обучении для нейронной активности двух областей головного мозга (гиппокампа и миндалины) (рис. 2, a). Кроме того, в те дни, когда наблюдался рост количества вознаграждений, но не в последующие, была показана корреляция между Ф для нейронов гиппокампа и Ф для нейронов миндалины (рис. 2. b).
Рис. 2. Пример применения теории интегрированной информации для оценки степени успешности обучения. a — взаимосвязь Ф для нейронов гиппокампа и миндалины с относительным количеством вознаграждений (нормированным на время сессии обучения). b — взаимосвязь Ф для нейронов гиппокампа и Ф для нейронов миндалины: слева — до достижения дня с максимальным количеством вознаграждений, в середине — в течение этого дня, справа — после этого дня и до конца обучения. Адаптировано из [21,22] (цвет онлайн)
Fig. 2. Example of the integrated information theory application for quantification of the degree of learning success. a — correlation between Ф for hippocampus and amygdala neurons and a relative number of rewards (normalized by the learning session duration). b — correlation between Ф for hippocampus and amygdala neurons: left — before the day when the maximal number of rewards was achieved, middle — during a such day, right — after this day until the end of learning. Changed from [21,22] (color online)
Эти результаты показывают, что сегрегация и интеграция информации, описываемые коэффициентом интегрированной информации Ф, взаимосвязаны с успешностью функционирования сложной системы. Поэтому применение теории интегрированной информации к анализу нейронной активности головного мозга представляется перспективным подходом. Коэффициент Ф способен показывать внутренние изменения в сложной системе, поэтому позволит учесть ранее не известные закономерности в паттернах нейронной активности. Это позволит более точно оценивать степень вовлечённости определённых нейронных групп в процесс обучения и уровень пластических изменений, происходящих в головном мозге в процессе приобретения навыков.
Основы процессов сегрегации и интеграции информации
Успешное применение IIT для анализа различных систем показывает, что сегрегация и интеграция информации обнаруживаются в различных самоорганизующихся системах [13,14]. Головной мозг не является исключением. Подобные процессы напрямую вытекают из сетевой структуры головного мозга, образованной нейронами и их взаимодействиями. Сетевая структура мозга представлена сообществами с тесными внутренними взаимными связями. Было показано [23], что нейронные сообщества реализуют сегрегацию информации, а связи между ними — интеграцию. Рассмотрим данные процессы подробнее.
Ещё в начале XX века с помощью простейших методов микроскопии было показано, что мозг не является однородным, а имеет большое количество ярко выраженных анатомических областей [24,25]. В дальнейшем внутри головного мозга были обнаружены кластеры нейронов [26], структура которых определяется анатомическим устройством мозга [27]. При таком устройстве сети в ней образуются особые подгруппы нейронов, которые содержат большое число связей — значительно большее, чем все остальные нейроны. Данная подгруппа называется «клубом избранных» («Rich club»). Такие клетки встречаются в каждом кластере и отвечают за связь и обмен информацией между кластерами. В результате получается, что каждый кластер может содержать клетки, имеющие связи с остальными кластерами. Такие клетки называют хаба-ми. «Клуб избранных» образует мощную структуру, обеспечивающую связи между кластерами, позволяя информации быстро переходить практически из любого кластера в любой. Показано, что по сравнению со случайной сетью такая структура позволяет значительно уменьшить длину пути между областями [28], что, как будет показано далее, критически важно. Образование «клуба избранных» описывается моделью сетей Барабаши-Альберта [29], где связи у каждого узла образуются с вероятностью, пропорциональной уже имеющемуся количеству связей этого узла. Предлагаемая генеративная модель объясняет подобную структуру — клетки из «клуба избранных» будут образовывать синаптические связи вероятнее, чем остальные, поэтому с большой вероятностью свяжутся с клетками изо всех других кластеров, а не только с ближайшими. В таких сетях высок глобальный коэффициент кластеризации С, определяемый как среднее по всем узлам отношение количества связанных между собой пар соседей узлов к полному количеству пар соседей узлов. Он показывает, насколько сильно в сети выражены узлы-хабы, имеющие большое число связей.
Каждый кластер, в свою очередь, внутри построен по определённым правилам, которые являются прямой противоположностью организации хабов. Хорошая специализация на выполнении какой-либо функции требует быстрого обмена информацией внутри сообщества. Для этого требуется максимально сократить длину проводящих путей между нейронами в сообществе. И нейроны в специализированных регионах мозга действительно образуют такие сети, что было подтверждено различными методами [30-33]. Структура нейронных связей в подобных кластерах описывается с помощью модели так называемых «сетей тесного мира» (Small-World networks).
Первоначально подобные сети были предложены для описания графа социальных связей между всеми людьми — было выявлено, что в среднем двух случайно взятых людей разделяют только 6 знакомств, и что люди, используя только свои знакомства, только локально доступных им людей, самостоятельно находят эти пути [34]. Это показывает высокую скорость обмена информацией в подобных сетях. Возникновение сети «тесного мира» описывается моделью Уоттса-Строгаца [35]: в регулярной кольцевой сети с к для каждой связи производится случайное испытание с вероятностью положительного исхода р, и в случае положительного исхода эта связь перенаправляется одним из концов на другой узел, случайно выбранный таким образом, что до перенаправления аналогичной связи не существовало. При р = 0 образуется полностью регулярная сеть (что очевидно, поскольку никакие связи в исходной регулярной сети модифицированы не будут), а при р = 1 результирующая сеть получится полностью случайной. Таким образом, сеть в каждом регионе мозга является результатом баланса между случайностью и регулярностью. Важнейшим свойством сетей «тесного мира» является то, что они имеют крайне низкую среднюю длину пути между двумя элементами, слабо зависящую от их количества. Согласно исследованию Уоттса и Строгаца, средняя длина пути в таких сетях определяется следующим образом:
<0 = —
<1} = 1п К '
где N — количество элементов в сети, а К — количество связей у одного элемента. Если взять количество нейронов в какой-либо анатомической области N = 1 млрд, а среднее число синапсов у нейрона К = 1000, то получим среднюю длину связи <1) = 3. Настолько малая длина позволяет таким сетям быстрее генерировать информацию. Можно показать, что в таких сетях значительно выше мера эффективности обмена информацией:
где G — рассматриваемая сеть (граф), N — количество узлов в сети, а dij — длина кратчайшего пути между узлами г и j в сети. Нормировка на N(N — 1) нужна для того, чтобы взять за единицу эффективность сети, имеющей все N(N — 1)/2 возможных связей [36,37]. Искусственные нейронные сети, построенные на основе модели «тесного мира», быстрее обучаются и делают меньше ошибок [38].
Подобная закономерность существует и на более высоких уровнях. Есть все основания предполагать, что сети в мозге являются многоуровневыми, то есть узлами могут быть не только нейроны, но и целые сети, построенные по такому же принципу [39], то есть мозг может описываться как гиперсеть [40]. В качестве узлов могут выделяться и искусственные структуры (восстановленные или созданные на основании применения теории графов), например, воксели (трёхмерные пиксели, используемые для анализа данных функциональной магнитно-резонансной томографии, фМРТ). Связь между узлами в таких работах определяется исходя из их активности различными статистическими методами [41-44], после чего тесные сообщества выделяются с помощью специального класса алгоритмов для обнаружения связанных популяций (Communiy detection) [45,46]. В таких исследованиях воксели также показывали аналогичную сетевую структуру, с тесными сообществами и хабами [47-50]. Для некоторых областей мозга была показана эквивалентность структуры, полученной анатомическими методами и методами анализа активности групп нейронов по методу фМРТ [51]. Таким образом, сходная структура обнаруживается на разных уровнях. Возможно, сетевая структура на каждом уровне определяет структуру следующего уровня — и так далее, вплоть до более высоких уровней сетей, вроде социальных, непосредственно доступных для наблюдения.
По всей видимости, такие сети возникают эволюционным путём под действием сложной окружающей среды. Проследить эволюцию сети живого мозга достаточно сложно в силу большой сложности таких сетей, поэтому используется компьютерное моделирование. В работе [52] модель многослойной нейронной сети со связями, меняющимися по генетическому алгоритму, обучалась нескольким задачам, причём требуемая задача часто менялась. При этом в такой сети возникли структурные мотивы, сходные с вышеописанными мотивами в сетях живого головного мозга. Специально определённая метрика модульности, показывающая, насколько хорошо в сети можно выделить сообщества с минимумом связей между ними, росла при таком обучении. Более простая линейная модель, в которой вектор результатов получался из вектора ресурсов среды с помощью матрицы, а метрика успешности вычислялась как модуль разницы между вектором результатов и заданным идеальным вектором, показала похожий результат — в матрице обнаруживались блоки из ненулевых элементов на общем фоне, состоящем преимущественно из нулей. Здесь частота изменения задачи оказалась напрямую связана с похожей метрикой модульности для матрицы [53].
Таким образом, в головном мозге в результате эволюции в окружающей среде сосуществуют два прямо противоположных «стандарта» формирования сетей — сети «тесного мира» с большим количеством связей между различными парами элементов и сети с узлами, имеющими большое количество связей. Первые характеризуются малым коэффициентом кластеризации, высокой плотностью связей и небольшой средней длиной пути, а вторые — наоборот, высоким коэффициентом кластеризации, низкой плотностью связей и увеличенной средней длиной пути. Активность узлов в каждом сообществе сильно коррелирует друг с другом и слабо коррелирует с активностью в других сообществах. Эти типы организации сетей напрямую связаны с дифференциацией (сегрегацией) и интеграцией информации [23].
Сегрегация информации означает, что обработка узкоспециализированной информации каждого конкретного типа, выполнение каждой конкретной задачи осуществляется в своих специализированных модулях. Этими модулями как раз и являются вышеупомянутые сообщества, имеющие тесные внутренние связи по модели «тесного мира». В них, во-первых, короткие связи между элементами увеличивают скорость генерации информации, а, во-вторых, группа из большого числа нейронов может находиться в большом количестве состояний, и таким образом различать большое число объектов.
Интеграция информации — наличие взаимосвязей, взаимозависимостей между состояниями узлов в различных сообществах. Это необходимо для обмена информацией и, следовательно, для построения общих выводов на основе информации, обрабатываемой различными сообществами. Физической основой интеграции информации являются узлы-хабы, обеспечивающие взаимосвязь между кластерами. Без этого работа мозга как единого целого была бы невозможной. Интеграция информации основана на взаимосвязях между кластерами и реализуется нейронами из «клуба избранных».
Таким образом, была раскрыта основная суть двух явлений, оцениваемых в теории интегрированной информации: сегрегация и интеграция информации. Можно предположить, что они возникают в мозге эволюционным путём и крайне важны для успешного функционирования головного мозга.
Определение параметра интегрированной информации Ф
Рассмотрим теперь, как именно вычисляется показатель Ф. Необходимо вывести такой показатель, который будет описывать степень генерации информации частями системы и степень её интеграции. Для начала необходимо точно охарактеризовать генерацию информации.
Представим систему в виде случайной величины X, представляющей собой N-мерный вектор, где N — количество элементов (узлов) в системе. Каждый элемент вектора показывает состояние одного узла в данный момент времени. Состояния узлов считаются бинарными — узел может быть либо не активен (состояние «0»), либо активен (состояние «1»). Система эволюционирует со временем, вначале находясь в состоянии Хо, затем, через какое-то время, в состоянии Х\, затем, через такое же время — в состоянии Х2, и так далее. В данной теории время рассматривается дискретно, через определённые промежутки At [3]:
ХгЦХ2А£Х3 ...
Тогда количество информации, сгенерированной системой за один шаг At, можно оценить с помощью выражения:
Н (X^Xt+A t),,
где Н (X \Y) — условная энтропия переменной X при условии произошедшего наблюдения переменной Y. Здесь условная энтропия показывает количество информации, необходимое для описания системы (полного снятия неопределённости о ней) в момент времени t при условии, что известно состояние системы в момент времени t + At. Можно сказать, что этот показатель предсказывает, в какой степени состояние системы в момент времени t предсказывает будущее состояние системы в момент t + At. Теперь необходимо оценить степень интеграции информации, то есть взаимодействия частей системы. Для этого Тонони с коллегами предложили разбить систему на непересекающиеся части, удалив все связи между этими частями, и рассчитать простую разность между количеством информации, генерируемой целой системой, и генерируемой суммой её частей. Эта метрика называется эффективной информацией (Effective Information, EI):
EI(Xt ^ Xt+At,P) =
н (PtAPt+At,i)
,i= 1
— н (Xt\Xt+At).
Здесь Р = Р\ ,Р2,...Рк; Р\ и Р2 и ... и Рк = X — разбиение системы на к частей. Энтропии под суммой вычисляются для каждой части системы, для некоторого подмножества её элементов Р^. Очевидно, что данная разность не всегда будет равной нулю, энтропия суммы частей не равна энтропии всей системы, поскольку в выражении для условной энтропии фигурируют распределения вероятности, и сумма распределений в общем случае не равна совместному распределению. Равенство достигается только в случае полной независимости частей, когда разделение ничего не изменит — тогда сумма энтропий частей будет равна суммарной энтропии системы, и разность будет равна нулю. Это очень важный частный случай, помогающий понять принцип оценки степени интеграции информации — оценивается степень взаимозависимости, степень того, какие последствия будут от разделения системы на части. Чем больше выигрыш от объединения частей в систему, чем больше информации можно дополнительно получить от такого объединения, тем больше будет эффективная информация Е1. Теперь необходимо определить, какое конкретно разбиение системы на части необходимо использовать для расчётов. По определению, данному в работе [3], требуется найти такое разбиение, которое даст минимальное значение Е1, то есть такое, которое определит наиболее независимые части системы. Это позволяет определить слабое место системы — ту её часть, которая минимально связана с остальной системой и, следовательно, слабо обменивается с ней информацией. Информация, сгенерированная этой частью, менее всего используется системой для создания общих выводов и даёт наименьший вклад в работу системы. В наихудшем пределе такое минимальное значение равно нулю, что означает, что удалось найти полностью независимую подгруппу в системе, не обменивающуюся информацией с остальными
частями. Найденное разбиение в IIT называют разбиением с минимальной информацией (Minimum Information Partition, MIP). И значением коэффициента интегрированной информации Ф является значение эффективной информации EI при разбиении MIP:
Ф = EI(Xt ^ Xt+At,P = MIP).
Наконец, необходимо устранить одну проблему. В случае, если части, на которые разбивается система, будут сильно не равны по размеру, то эффективная информация будет в первую очередь определяться размерами частей системы, а не степенью взаимосвязи и взаимозависимости, как это требуется. Например, в случае разбиения на две сильно неравные части эффективная информация будет почти всегда меньше, чем при разбиении на равные, поскольку отделение небольшого числа элементов слабо затрагивает систему и слабо изменяет количество генерируемой в ней информации. Аналогично, разбиение на много частей даст уменьшение информации гораздо большее, чем разбиение на небольшое число — чем больше частей, тем больше связей будет разорвано, тем больше взаимозависимостей пропадёт, и система станет генерировать меньшее число информации. Для устранения таких эффектов при поиске разбиения минимум ищется по нормированным значениям EI, где нормировочный коэффициент Np равен минимально возможной информации, генерируемой всеми частями системы:
Np = (к - 1) min Hmax(Pi), i=l...k
где к — количество частей в разбиении, а Hmax(Pi) — максимальная энтропия части системы (максимально возможное количество информации, которое требуется, чтобы описать её состояние). Для систем с бинарными узлами максимальная энтропия равна размеру системы. Таким образом, Np = (к — 1) mini=1...k iPi| [3]. В итоге, показатель интегрированной информации определяется выражением
Е k=i н (Pt,i|Pt+At,i)l — н (XtlXt+At)
Ф = arg min
P (к — 1)mini=i...k |Д|
(1)
из которого видно, что показатель интегрированной информации измеряется в битах, поскольку Ф фактически представляет собой линейную комбинацию различных энтропий, которые тоже измеряются в битах. В теории Ф неотрицателен, поскольку сумма энтропий Шеннона частей системы будет больше энтропии целой системы — большее количество связей даёт большее количество взаимозависимостей, что уменьшает количество возможных состояний системы и снижает энтропию. Теоретически максимально возможное значение Ф равно количеству элементов в системе, однако на практике оно никогда не достигается, так как для этого требуется, чтобы энтропия целой системы была равна нулю, что невозможно.
Практическое вычисление коэффициента интегрированной информации
Основной проблемой вычислений по такому классическому определению является нахождение разбиения с минимальной информацией. Никаких предположений и ограничений по поводу вида разбиения не делается — теоретически оно может быть произвольным, на любое количество частей и с любым распределением элементов по этим частям. На практике такое разбиение может быть найдено только полным перебором всех возможных разбиений, с вычислением нормированной эффективной информации для каждого и поиском минимума. Оценим сложность алгоритма.
Количество всех возможных разбиений множества из N элементов определяется числом Белла В^. Оно задаётся рекуррентным соотношением [54]
N
bn = ^ сп в>
>fc-1.
к=0
Принимая по очевидным причинам, что Во = 1 и В\ = 1, легко рассчитать число Белла и для следующих N. Так, например, Bw = 115975, В15 = 1382958545, а В2о = 51724158235372 (рис. 3). Число Белла можно оценить как [55]:
Bn <
0.792п
(ln(n + 1)
то есть оно растёт быстрее экспоненты, но медленнее факториала. Таким образом, даже для относительно небольших систем вычисление Ф становится большой проблемой. Современных вычислительных мощностей, даже на суперкомпьютерах, будет недостаточно для определения показателя Ф у систем с N ^ 10 элементами. Поэтому на практике часто ограничиваются разбиением системы на две части. В таком случае число разбиений, которые необходимо перебрать, определяется числом Стирлинга второго рода [56], которое растёт уже экспоненциально (см. рис. 3):
ЗД 2) = 2(2™ - 1)
1Е23-* 1E22-Ï 1Е21 -i 1E20-Ï 1E19-Ï 1E18-Ï 1E17-Ï 1E16-Ï 1E15-Ï 1E14-I 1E13-Ï 1E12-I 1Е11 1Е10 1Е9 1Е8 3 1Е7 £ 1000000 100000 10000 1000 100 10
СЛ Ö .О
а
—
<Ц
Xi
All possible partitions All bipartitions Factorial (for reference)
15 20 25
Number of elements in a system
Рис. 3. Количество вариантов разбиения системы на части, которое нужно перебрать для нахождения разбиения с минимальной информацией (MIP). Приведены количества для разбиения на произвольное число частей и разбиений на две части; также для сравнения приведено значение факториала количества элементов. Масштаб по оси у логарифмический. Построено на основе применения оценки произвольного числа разбиений системы [55] и разбиений на две части [56]
Fig. 3. A number of system partitions required to consider to find the Minimal Information Partition (MIP). Number of partitions is shown for arbitrary partitions and bipartitions; also a factorial of a number of elements is shown for reference. The y axis is in logscale. Plotted using the estimation of a number of arbitrary partitions [55] and a number of bipartitions [56]
Однако даже в таком упрощённом варианте задача остаётся очень сложной. Например, для 30 нейронов при выполнении вычислений придётся перебрать S(30, 2) = 5.369 ■ 108 возможных разбиений. Поэтому необходимы приближённые методы, которые позволяют произвести расчёт быстрее, получая Ф, не сильно отличающееся от точного значения. Они основаны на нахождении разбиения, в той или иной мере повторяющего свойства истинного (требуемого по определению, данного в IIT), но находимого без полного перебора. Одним из первых предложений было использование так называемого атомарного разбиения (Atomic partition) [13,57,58], которое представляет собой простое деление системы из N узлов на N частей, где каждый узел оказывается в одной части (рис. 4, а). Это частично решает задачу, поскольку соответствует основной идеологии теории интегрированной информации — расчёт выигрыша при работе целой системы по сравнению с работой отдельно взятых частей. При этом приближённо считается, что такими отдельными частями являются сами узлы, и игнорируется присутствие отдельных кластеров (подмножеств), способных к генерации информации. Это серьёзный недостаток такого подхода, поскольку реальная структура нейронных сетей в мозге, как указывалось ранее, не однородна, а состоит из отдельных кластеров, имеющих внутри тесные связи (рис. 4, b). Каждый из этих кластеров решает конкретную задачу и является в некоторой степени самостоятельной единицей, и разбиение сети на отдельные нейроны игнорирует этот факт и не позволяет оценить выигрыш в генерации информации вследствие работы таких кластеров. Поэтому необходимы приближения, учитывающие такую кластерную структуру.
Можно предположить, что разбиение на такие кластеры является наиболее близким к тому, которое требуется по определению Ф, данному в IIT (рис. 4, с). Разбиение по местам, где между частями системы имеется меньше всего связей (то есть, разбиение вне границ кластеров), приведёт к наименьшему снижению количества информации, генерируемой системой. Для выявления подобных кластеров используются методы статистического анализа нейронной активности. Высокая корреляция между рядами спайковых событий двух нейронов означает, что с большой вероятностью активность одного нейрона может быть причиной активности другого, то есть один из них имеет синаптическую связь с другим. Сила синаптической связи определяется по величине корреляции. После этого используются широко известные методы нахождения тесных
Рис. 4. Приближённые разбиения нейронной сети головного мозга, частично повторяющие свойства искомого MIP. a — Атомарное разбиение, каждый нейрон находится в своей подвыборке (отмечены красными кругами). Подобное разбиение не соответствует реальной структуре сети и пренебрегает обработкой информации нейронными группами. b — Кластерная структура нейронной сети. Хорошо видны сообщества нейронов, соединённые между собой связями с помощью узлов-хабов (отмечены звёздочками). c — Разбиение нейронной сети на подвыборки, соответствующие сообществам нейронов. Адаптировано из [21] (цвет онлайн)
Fig. 4. Approximated partitions of a brain neural network partially replicating properties of MIP. a — Atomic partition, every neuron is contained in its own partition (shown by the red circles). Such partition does not correspond to an existing structure of a neural network and neglects the information processing by neuron groups. b — Neural network cluster structure. Neuron communities connected between each other by synapses with hubs (marked by astericks) are visible. c — Neural network partition by groups corresponding to neuron clusters. Changed from [21] (color online)
кластеров во взвешенном графе, такие как метод Ловена [59], спектральная кластеризация [60] или взвешенная модель стохастических блоков [61]. Это позволяет вычислить Ф за разумное время, получая достаточно точный результат [57].
Вычисление Ф по определению (1) на практике весьма затруднено. Здесь возникает известная проблема, возникающая при получении статистических распределений — объём данных может стать сильно недостаточным для получения достаточно точного распределения вероятности. Для системы из N элементов существует 2 м возможных состояний, и необходимо пронаблюдать каждое из них достаточное количество раз, чтобы рассчитать вероятность возникновения каждого состояния и таким образом получить распределение вероятности, близкое к истинному. На практике проблемы проявляются в возникновении нестабильности вычисляемого значения Ф, когда небольшая разница во входных данных (например, наблюдение немного меньшего числа состояний) приводит к очень большим изменениям в Ф). При этом нормированная эффективная информация Е1 /Ир для нескольких разбиений системы практически не отличается и находится около искомого минимума, а ненормированная эффективная информация Е1 для этих разбиений различается уже значительно. Небольшая разница в собранных состояниях системы при этом приводит к тому, что искомый минимум переходит к другому разбиению, которое даст уже сильно другое ненормированное значение Е1, и, следовательно, другое значение Ф. Такая нестабильность может серьёзно исказить результаты. Поэтому в [62] был разработан новый алгоритм для вычислений, так называемое авторегрессионное Ф. С его помощью возможно вычисление Ф для встречающихся на практике данных об эволюции состояний каждого элемента системы со временем. Коэффициент интегрированной информации в таком случае вычисляется следующим образом:
т!п»„ 1 1п ^Е(х) Vм 1 1п ^ 2(м*о
Фак =-Ш)-• (2)
Здесь ) — ковариационная матрица переменной X, Ех — остатки регрессии, предсказывающей состояние системы в момент времени £ на основе состояния в момент времени £ + Д£, Ем — такие же остатки, но не для целой системы, а для её частей (подвыборок) Мг, а Ь(М) = 11п тт к
{(2ле)|м 1 Ъ(Мк)} — нормировочный коэффициент. Разделение на под-выборки можно использовать любое, предложенное в одном из приближённых методов расчёта. При вычислении Ф подобным способом возможны проблемы в случаях, когда данные меняются слишком медленно (элементы системы находятся всегда в состоянии «0» или «1»), что приводит к невозможности вычисления регрессий в (2). В таком случае наименее слабо меняющийся элемент удаляется из системы [14]. Поскольку такие элементы кодируют мало информации, их удаление не сказывается на результате.
В литературе встречаются и другие определения, в которых применены некоторые усовершенствования, такие как учёт предсказания на каждом этапе и будущего, и предыдущего состояний системы [63], замены разности энтропий на метрику разности распределений (метрику Вассерштейна) [4], и многие другие [64-66]. Однако, на практике в рассмотренных ранее статьях для практических вычислений на данных в виде временных рядов (спайковых или ЭЭГ) они не применялись, поскольку вычисление характеристик распределений, требуемое при использовании данных методов, невозможно на практике из-за недостаточности объёмов данных. Так, например, в работах [20-22] данные нейронной активности представляли собой временные ряды большой длины, поэтому было использовано определение «авторегрессионного Ф». В работе [13] было использовано классическое определение, поскольку вследствие малого объёма данных в искусственно симулированной системе вычисление энтропий было возможно. В работе [14]
авторегрессионный вариант был использован для вычисления на наборе данных большего объёма; для другого набора данных было использовано классическое определение.
Наконец, для вычисления Ф на данных нейронной активности (спайковых или ЭЭГ) необходимо найти параметр At, который определяет, за какое количество шагов вычисляется количество сгенерированной системой информации. При расчёте Ф в моделируемых системах, где их эволюция со временем происходит по шагам (с помощью программного кода в цикле), (как, например, в [13]), очевидно рассматривается генерация информации за один такой шаг. Для непрерывных, не обладающих дискретностью, систем применение такого подхода неправомерно. В работе [20] приводится обзор подходов к выбору At для нейронной активности головного мозга. Внутри головного мозга на разных уровнях происходит огромное число процессов со сложной временной динамикой, поэтому любая оценка At будет приблизительной, и вычисление Ф с использованием такой оценки не будет основано на количестве информации, сгенерированной за время завершённого цикла. В мозге обнаруживаются процессы, происходящие с разной скоростью, как на уровне отдельных нейронов (потенциалы действия и выброс нейромедиатора), так и на уровне множества нейронов (суммарная активность мозга). На данный момент имеется много подтверждений того, что эти процессы происходят периодически, и могут быть описаны либо по принципу скользящего среднего, либо авторегрессионно (каждое следующее состояние выводится из предыдущего). Необходимо оценить временной масштаб подобных процессов. Можно предположить, что эти периоды определяются ритмичными колебаниями больших нейронных групп, которые видны в виде ритмов на ЭЭГ. Также периодичными, по всей видимости, являются когнитивные процессы [67-69]. По разным источникам (см., обзор в [20]), момент осознанного восприятия, например, наступает в периоде от 50 до 500 мс после предъявления информации, поэтому полезно рассматривать периоды генерации информации нейронными сообществами именно в таких пределах. В целом, все источники едины во мнении, что подобные процессы происходят на временном масштабе быстрее секунды. В итоге, для определения характерного периода, за который генерируется максимальное количество информации, необходимо перебрать все возможные количества шагов, дающие At в пределах одной секунды. Значение At, при котором достигается максимальный показатель Ф, и используется в дальнейших вычислениях. Подобный подход использовался в [14].
Заключение
Были рассмотрены основы теории интегрированной информации и её возможное применение в нейробиологии для оценки процесса приобретения нового опыта. Указаны способы, позволяющие на практике вычислить значение Ф для данных нейронной активности. На настоящее время подобный подход применяется ограниченно в силу значительной вычислительной сложности для больших объёмов спайковых данных. Однако существующие исследования показывают преимущества использования IIT и её способности оценивать внутренние состояния нейронных сетей в головном мозге.
Список литературы
1. Tononi G. An information integration theory of consciousness // BMC Neuroscience. 2004. Vol. 5. P. 42. DOI: 10.1186/1471-2202-5-42.
2. Tononi G. Consciousness as integrated information: a provisional manifesto // The Biological Bulletin. 2008. Vol. 215, no. 3. P. 216-242. DOI: 10.2307/25470707.
3. Balduzzi D., Tononi G. Integrated information in discrete dynamical systems: motivation and theoretical framework// PLoS Comput. Biol. 2008. Vol. 4, no. 6. P. e1000091. DOI: 10.1371/ journal.pcbi.1000091.
4. Oizumi M., Albantakis L., Tononi G. From the phenomenology to the mechanisms of consciousness: Integrated information theory 3.0 // PLoS Comput. Biol. 2014. Vol. 10, no. 5. P. e1003588. DOI: 10.1371/journal.pcbi.1003588.
5. Tononi G., Koch C. Consciousness: here, there and everywhere? // Phil. Trans. R. Soc. B. 2015. Vol. 370, no. 1668. P. 20140167. DOI: 10.1098/rstb.2014.0167.
6. Massimini M, Ferrarelli F., Huber R., Esser S. K., Singh H., Tononi G. Breakdown of cortical effective connectivity during sleep // Science. 2005. Vol. 309, no. 5744. P. 2228-2232. DOI: 10.1126/science.1117256.
7. Alkire M.T., Hudetz A. G., Tononi G. Consciousness and anesthesia // Science. 2008. Vol. 322, no. 5903. P. 876-880. DOI: 10.1126/science.1149213.
8. Gosseries O., Di H., Laureys S., Boly M.Measuring consciousness in severely damaged brains // Annual Review of Neuroscience. 2014. Vol. 37. P. 457-478. DOI: 10.1146/annurev-neuro-062012-170339.
9. Casali A. G., Olivia Gosseries O., Rosanova M., Boly M., Sarasso S., Casali K. R., Casarotto S., Bruno M.-A., Laureys S., Tononi G., Massimini M. A theoretically based index of consciousness independent of sensory processing and behavior // Science Translational Medicine. 2013. Vol. 5, no. 198. P. 198ra105. DOI: 10.1126/scitranslmed.3006294.
10. King J. R., Sitt J. D., Faugeras F., Rohaut B., Karoui I. E., Cohen L., Naccache L., Dehaene S. Information sharing in the brain indexes consciousness in noncommunicative patients // Current Biology. 2013. Vol. 23, no. 19. P. 1914-1919. DOI: 10.1016/j.cub.2013.07.075.
11. Searle J. R. Can information theory explain consciousness? [Electronic resource] // The New York Review of Books. 10 January 2013. Available from: https://www.nybooks.com/articles/2013/01/ 10/can-information-theory-explain-consciousness/.
12. Barrett A. B., Mediano P. A. M.The Phi measure of integrated information is not well-defined for general physical systems // Journal of Consciousness Studies. 2019. Vol. 26, no. 1-2. P. 11-20.
13. Edlund J. A., Chaumont N., Hintze A., Koch C., Tononi G., Adami C. Integrated information increases with fitness in the evolution of animats // PLoS Comput. Biol. 2011. Vol. 7, no. 10. P. e1002236. DOI: 10.1371/journal.pcbi.1002236.
14. Engel D., Malone T. W. Integrated information as a metric for group interaction // PLoS ONE. 2018. Vol. 13, no. 10. P. e0205335. DOI: 10.1371/journal.pone.0205335.
15. Albantakis L., Tononi G. The intrinsic cause-effect power of discrete dynamical systems-from elementary cellular automata to adapting animats // Entropy. 2015. Vol. 17, no. 8. P. 5472-5502. DOI: 10.3390/e17085472.
16. Niizato T., Sakamoto K., Mototake Y.-I., Murakami H., Tomaru T., Hoshika T., Fukushima T. Finding continuity and discontinuity in fish schools via integrated information theory // PLoS ONE. 2020. Vol. 15, no. 2. P. e0229573. DOI: 10.1371/journal.pone.0229573.
17. Fujii K., Kanazawa H., Kuniyoshi Y. Spike timing dependent plasticity enhances integrated information at the EEG level: A large-scale brain simulation experiment // In: 2019 Joint IEEE 9th International Conference on Development and Learning and Epigenetic Robotics (ICDL-EpiRob). 19-22 August 2019, Oslo, Norway. New York: IEEE, 2019. P. 137-142. DOI: 10.1109/DEVLRN.2019.8850724.
18. Niessing J., Friedrich R. W. Olfactory pattern classification by discrete neuronal network states // Nature. 2010. Vol. 465, no. 7294. P. 47-52. DOI: 10.1038/nature08961.
19. Mazzucato L., Fontanini A., La Camera G. Dynamics of multistable states during ongoing and evoked cortical activity // Journal of Neuroscience. 2015. Vol. 35, no. 21. P. 8214-8231. DOI: 10.1523/JNEUROSCI.4819-14.2015.
20. Isler J.R., Stark R. I., Grieve P. G, Welch M.G., Myers M.M. Integrated information in the EEG of preterm infants increases with family nurture intervention, age, and conscious state // PLoS ONE. 2018. Vol. 13, no. 10. P. e0206237. DOI: 10.1371/journal.pone.0206237.
21. Nazhestkin I., Svarnik O. Different approximation methods for calculation of integrated information coefficient in the brain during instrumental learning // Brain Sciences. 2022. Vol. 12, no. 5. P. 596. DOI: 10.3390/brainsci12050596.
22. Nazhestkin I. A., Svarnik O. E. Integrated information coefficient estimated from neuronal activity in hippocampus-amygdala complex of rats as a measure of learning success // Journal of Integrative Neuroscience. 2022. Vol. 21, no. 5. P. 128. DOI: 10.31083/j.jin2105128.
23. Sporns O. Network attributes for segregation and integration in the human brain // Current Opinion in Neurobiology. 2013. Vol. 23, no. 2. P. 162-171. DOI: 10.1016/j.conb.2012.11.015.
24. Brodmann K. Vergleichende Lokalisationslehre der Grosshirnrinde in ihren Prinzipien dargestellt auf Grund des Zellenbaues. Leipzig: Barth, 1909. 324 s.
25. Vogt C., Vogt O. Allgemeine ergebnisse unserer hirnforschung. Bd. 25. JA Barth, 1919. 190 s.
26. Sporns O., Chialvo D. R., Kaiser M., Hilgetag C. C. Organization, development and function of complex brain networks // Trends in Cognitive Sciences. 2004. Vol. 8, no. 9. P. 418-425. DOI: 10.1016/j.tics.2004.07.008.
27. Hilgetag C.-C., Burns G. A. P. S., O'NeillM. A., Scannell J. W., YoungM. P. Anatomical connectivity defines the organization of clusters of cortical areas in the macaque monkey and the cat // Phil. Trans. R. Soc. Lond. B. 2000. Vol. 355, no. 1393. P. 91-110. DOI: 10.1098/rstb.2000.0551.
28. Sporns O., Zwi J.D. The small world of the cerebral cortex // Neuroinformatics. 2004. Vol. 2, no. 2. P. 145-162. DOI: 10.1385/NI:2:2:145.
29. Barabasi A.-L., Albert R. Emergence of scaling in random networks // Science. 1999. Vol. 286, no. 5439. P. 509-512. DOI: 10.1126/science.286.5439.509.
30. Bassett D. S., Bullmore E. D. Small-world brain networks // The Neuroscientist. 2006. Vol. 12, no. 6. P. 512-523. DOI: 10.1177/1073858406293182.
31. Muldoon S.F., Bridgeford E. W., Bassett D.S. Small-world propensity and weighted brain networks // Scientific Reports. 2016. Vol. 6, no. 1. P. 22057. DOI: 10.1038/srep22057.
32. Bassett D. S., Bullmore E. T. Small-world brain networks revisited // The Neuroscientist. 2017. Vol. 23, no. 5. P. 499-516. DOI: 10.1177/1073858416667720.
33. Liao X., Vasilakos A. V., He Y Small-world human brain networks: Perspectives and challenges // Neuroscience & Biobehavioral Reviews. 2017. Vol. 77. P. 286-300. DOI: 10.1016/j.neubiorev. 2017.03.018.
34. Milgram S. The small-world problem // Psychology Today. 1967. Vol. 1, no. 1. P. 61-67.
35. Watts D. J., Strogatz S. H. Collective dynamics of 'small-world' networks // Nature. 1998. Vol. 393, no. 6684. P. 440-442. DOI: 10.1038/30918.
36. Latora V., Marchiori M. Efficient behavior of small-world networks // Phys. Rev. Lett. 2001. Vol. 87, no. 19. P. 198701. DOI: 10.1103/PhysRevLett.87.198701.
37. Latora V., Marchiori M. Economic small-world behavior in weighted networks // The European Physical Journal B - Condensed Matter and Complex Systems. 2003. Vol. 32, no. 2. P. 249-263. DOI: 10.1140/epjb/e2003-00095-5.
38. Simard D., Nadeau L., Kroger H.Fastest learning in small-world neural networks // Physics Letters A. 2005. Vol. 336, no. 1. P. 8-15. DOI: 10.1016/j.physleta.2004.12.078.
39. Lynn C. W., Bassett D. S. The physics of brain network structure, function and control // Nature Reviews Physics. 2019. Vol. 1, no. 5. P. 318-332. DOI: 10.1038/s42254-019-0040-8.
40. Анохин К. В. Когнитом: в поисках фундаментальной нейронаучной теории сознания // Журнал высшей нервной деятельности им. И. П. Павлова. 2021. Т. 71, № 1. С. 39-71. DOI: 10.31857/S0044467721010032.
41. Rulkov N. F, Sushchik M.M., Tsimring L. S., Abarbanel H. D. I. Generalized synchronization of chaos in directionally coupled chaotic systems // Phys. Rev. E. 1995. Vol. 51, no. 2. P. 980-994. DOI: 10.1103/PhysRevE.51.980.
42. Aertsen A. M., Gerstein G. L., Habib M. K., Palm G. Dynamics of neuronal firing correlation: modulation of "effective connectivity" // Journal of Neurophysiology. 1989. Vol. 61, no. 5. P. 900-917. DOI: 10.1152/jn.1989.61.5.900.
43. Boccaletti S., Kurths J., Osipov G., Valladares D. L., Zhou C. S. The synchronization of chaotic systems//Physics Reports. 2002/Vol. 366, no. 1-2. P. 1-101.DOI: 10.1016/S0370-1573(02)00137-0.
44. Rosenblum M., Pikovsky A. Synchronization: From pendulum clocks to chaotic lasers and chemical oscillators // Contemporary Physics. 2003. Vol. 44, no. 5. P. 401-416. DOI: 10.1080/ 00107510310001603129.
45. Malliaros F.D., Vazirgiannis M. Clustering and community detection in directed networks: A survey // Physics Reports. 2013. Vol. 533, no. 4. P. 95-142. DOI: 10.1016/j.physrep.2013.08.002.
46. Garcia J.O., Ashourvan A., Muldoon S., Vettel J.M., Bassett D. S. Applications of community detection techniques to brain graphs: Algorithmic considerations and implications for neural function // Proceedings of the IEEE. 2018. Vol. 106, no. 5. P. 846-867. DOI: 10.1109/JPROC. 2017.2786710.
47. van den Heuvel M. P., Hulshoff Pol H. E. Exploring the brain network: A review on resting-state fMRI functional connectivity // European Neuropsychopharmacology. 2010. Vol. 20, no. 8. P. 519-534. DOI: 10.1016/j.euroneuro.2010.03.008.
48. Liao W., Ding J., Marinazzo D., Xu Q., Wang Z, Yuan C., Zhang Z., Lu G., Chen H. Small-world directed networks in the human brain: Multivariate Granger causality analysis of resting-state fMRI // NeuroImage. 2011. Vol. 54, no. 4. P. 2683-2694. DOI: 10.1016/j.neuroimage.2010.11.007.
49. Stam C.J., van Straaten E. C. W. The organization of physiological brain networks // Clinical Neurophysiology. 2012. Vol. 123, no. 6. P. 1067-1087. DOI: 10.1016/j.clinph.2012.01.011.
50. Kahnt T., Chang L. J., Park S. Q., Heinzle J., Haynes J.-D. Connectivity-based parcellation of the human orbitofrontal cortex // Journal of Neuroscience. 2012. Vol. 32, no. 18. P. 6240-6250. DOI: 10.1523/JNEUROSCI.0257-12.2012.
51. Yu C., Zhou Y, Liu Y, Jiang T., Dong H., Zhang Y, Walter M. Functional segregation of the human cingulate cortex is confirmed by functional connectivity based neuroanatomical parcellation // NeuroImage. 2011. Vol. 54, no. 4. P. 2571-2581. DOI: 10.1016/j.neuroimage.2010.11.018.
52. Kashtan N., Alon U. Spontaneous evolution of modularity and network motifs // Proc. Natl. Acad. Sci. U.S.A. 2005. Vol. 102, no. 39. P. 13773-13778. DOI: 10.1073/pnas.0503610102.
53. Lipson H., Pollack J.B., Suh N. P. On the origin of modular variation // Evolution. 2002. Vol. 56, no. 8. P. 1549-1556. DOI: 10.1111/j.0014-3820.2002.tb01466.x.
54. Rota G.-C. The number of partitions of a set // The American Mathematical Monthly. 1964. Vol. 71, no. 5. P. 498-504. DOI: 10.1080/00029890.1964.11992270.
55. Berend D., Tassa T. Improved bounds on Bell numbers and on moments of sums of random variables // Probability and Mathematical Statistics. 2010. Vol. 30, no. 2. P. 185-205.
56. Graham R. L., Knuth D. E., Patashnik O. Concrete Mathematics: A Foundation for Computer Science. Reading, MA, USA: Addison-Wesley, 1994. 657 p.
57. Toker D., Sommer F. T. Information integration in large brain networks // PLoS Comput. Biol. 2019. Vol. 15, no. 2. P. e1006807. DOI: 10.1371/journal.pcbi.1006807.
58. Mediano P. A.M., Seth A.K., Barrett A. B. Measuring integrated information: Comparison of candidate measures in theory and simulation // Entropy. 2019. Vol. 21, no. 1. P. 17. DOI: 10.3390/ e21010017.
59. Blondel V.D., Guillaume J.-L., Lambiotte R., Lefebvre E. Fast unfolding of communities in large networks // Journal of Statistical Mechanics: Theory and Experiment. 2008. Vol. 2008, no. 10. P. P10008. DOI: 10.1088/1742-5468/2008/10/P10008.
60. Ng A., Jordan M., Weiss Y. On Spectral Clustering: Analysis and an algorithm // In: Advances in Neural Information Processing Systems 14. NIPS, 2001.
61. Faskowitz J., Yan X., Zuo X.-N., Sporns O. Weighted stochastic block models of the human connectome across the life span // Scientific Reports. 2018. Vol. 8, no. 1. P. 12997. DOI: 10.1038/ s41598-018-31202-1.
62. Barrett A. B., Seth A. K. Practical measures of integrated information for time-series data // PLoS Comput. Biol. 2011. Vol. 7, no. 1. P. e1001052. DOI: 10.1371/journal.pcbi.1001052.
63. Tononi G. Integrated information theory of consciousness: an updated account // Archives Italiennes de Biologie. 2012. Vol. 150, no. 2-3. P. 56-90. DOI: 10.4449/aib.v149i5.1388.
64. Griffith V. A principled infotheoretic ^-like measure // arXiv:1401.0978. arXiv Preprint, 2014. 18 p. DOI: 10.48550/arXiv.1401.0978.
65. Oizumi M., Tsuchiya N., Amari S. Unified framework for information integration based on information geometry // Proc. Natl. Acad. Sci. U.S.A. 2016. Vol. 113, no. 51. P. 14817-14822. DOI: 10.1073/pnas.1603583113.
66. Oizumi M., Amari S., Yanagawa T., Fujii N., Tsuchiya N.Measuring integrated information from the decoding perspective // PLoS Comput. Biol. 2016. Vol. 12, no. 1. P. e1004654. DOI: 10.1371/journal.pcbi.1004654.
67. VanRullen R. Perceptual cycles // Trends in Cognitive Sciences. 2016. Vol. 20, no. 10. P. 723-735. DOI: 10.1016/j.tics.2016.07.006.
68. Fiebelkorn I. C., Pinsk M. A., Kastner S. A dynamic interplay within the frontoparietal network underlies rhythmic spatial attention // Neuron. 2018. Vol. 99, no. 4. P. 842-853. DOI: 10.1016/ j.neuron.2018.07.038.
69. Helfrich R. F., Fiebelkorn I. C., Szczepanski S. M, Lin J. J., Parvizi J., Knight R. T., Kastner S. Neural mechanisms of sustained attention are rhythmic // Neuron. 2018. Vol. 99, no. 4. P. 854-865. DOI: 10.1016/j.neuron.2018.07.032.
References
1. Tononi G. An information integration theory of consciousness. BMC Neuroscience. 2004;5:42. DOI: 10.1186/1471-2202-5-42.
2. Tononi G. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin. 2008;215(3):216-242. DOI: 10.2307/25470707.
3. Balduzzi D, Tononi G. Integrated information in discrete dynamical systems: motivation and theoretical framework. PLoS Comput. Biol. 2008;4(6):e1000091.DOI: 10.1371/journal.pcbi. 1000091.
4. Oizumi M, Albantakis L, Tononi G. From the phenomenology to the mechanisms of consciousness: Integrated information theory 3.0. PLoS Comput. Biol. 2014;10(5):e1003588. DOI: 10.1371/ journal.pcbi.1003588.
5. Tononi G, Koch C. Consciousness: here, there and everywhere? Phil. Trans. R. Soc. B. 2015; 370(1668):20140167. DOI: 10.1098/rstb.2014.0167.
6. Massimini M, Ferrarelli F, Huber R, Esser SK, Singh H, Tononi G. Breakdown of cortical effective connectivity during sleep. Science. 2005;309(5744):2228-2232. DOI: 10.1126/science.1117256.
7. Alkire MT, Hudetz AG, Tononi G. Consciousness and anesthesia. Science. 2008;322(5903):876-880. DOI: 10.1126/science.1149213.
8. Gosseries O, Di H, Laureys S, Boly M. Measuring consciousness in severely damaged brains. Annual Review of Neuroscience. 2014;37:457-478. DOI: 10.1146/annurev-neuro-062012-170339.
9. Casali AG, Olivia Gosseries O, Rosanova M, Boly M, Sarasso S, Casali KR, Casarotto S, Bruno MA, Laureys S, Tononi G, Massimini M. A theoretically based index of consciousness
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
198
independent of sensory processing and behavior. Science Translational Medicine. 2013;5(198): 198ra105. DOI: 10.1126/scitranslmed.3006294.
King JR, Sitt JD, Faugeras F, Rohaut B, Karoui IE, Cohen L, Naccache L, Dehaene S. Information sharing in the brain indexes consciousness in noncommunicative patients. Current Biology. 2013;23(19):1914-1919. DOI: 10.1016/j.cub.2013.07.075.
Searle JR. Can information theory explain consciousness? [Electronic resource] The New York Review of Books. 10 January 2013. Available from: https://www.nybooks.com/articles/2013/01/ 10/can-information-theory-explain-consciousness/.
Barrett AB, Mediano PAM. The Phi measure of integrated information is not well-defined for general physical systems. Journal of Consciousness Studies. 2019;26(1—2):11—20. Edlund JA, Chaumont N, Hintze A, Koch C, Tononi G, Adami C. Integrated information increases with fitness in the evolution of animats. PLoS Comput. Biol. 2011;7(10):e1002236. DOI: 10.1371/journal.pcbi.1002236.
Engel D, Malone TW. Integrated information as a metric for group interaction. PLoS ONE. 2018;13(10):e0205335. DOI: 10.1371/journal.pone.0205335.
Albantakis L, Tononi G. The intrinsic cause-effect power of discrete dynamical systems-from elementary cellular automata to adapting animats. Entropy. 2015;17(8):5472-5502. DOI: 10.3390/ e17085472.
Niizato T, Sakamoto K, Mototake YI, Murakami H, Tomaru T, Hoshika T, Fukushima T. Finding continuity and discontinuity in fish schools via integrated information theory. PLoS ONE. 2020;15(2):e0229573. DOI: 10.1371/journal.pone.0229573.
Fujii K, Kanazawa H, Kuniyoshi Y. Spike timing dependent plasticity enhances integrated information at the EEG level: A large-scale brain simulation experiment. In: 2019 Joint IEEE 9th International Conference on Development and Learning and Epigenetic Robotics (ICDL-EpiRob). 19-22 August 2019, Oslo, Norway. New York: IEEE; 2019. P. 137-142. DOI: 10.1109/DEVLRN. 2019.8850724.
Niessing J, Friedrich RW. Olfactory pattern classification by discrete neuronal network states. Nature. 2010;465(7294):47-52. DOI: 10.1038/nature08961.
Mazzucato L, Fontanini A, La Camera G. Dynamics of multistable states during ongoing and evoked cortical activity. Journal of Neuroscience. 2015;35(21):8214-8231. DOI: 10.1523/ JNEUROSCI.4819-14.2015.
Isler JR, Stark RI, Grieve PG, Welch MG, Myers MM. Integrated information in the EEG of preterm infants increases with family nurture intervention, age, and conscious state. PLoS ONE. 2018;13(10):e0206237. DOI: 10.1371/journal.pone.0206237.
Nazhestkin I, Svarnik O. Different approximation methods for calculation of integrated information coefficient in the brain during instrumental learning. Brain Sciences. 2022;12(5):596. DOI: 10.3390/ brainsci12050596.
Nazhestkin IA, Svarnik OE. Integrated information coefficient estimated from neuronal activity in hippocampus-amygdala complex of rats as a measure of learning success. Journal of Integrative Neuroscience. 2022;21(5):128. DOI: 10.31083/j.jin2105128.
Sporns O. Network attributes for segregation and integration in the human brain. Current Opinion in Neurobiology. 2013;23(2):162-171. DOI: 10.1016/j.conb.2012.11.015. Brodmann K. Vergleichende Lokalisationslehre der Grosshirnrinde in ihren Prinzipien dargestellt auf Grund des Zellenbaues. Leipzig: Barth; 1909. 324 s. (in German).
Vogt C, Vogt O. Allgemeine ergebnisse unserer hirnforschung. Bd. 25. JA Barth; 1919. 190 s. (in German).
Sporns O, Chialvo DR, Kaiser M, Hilgetag CC. Organization, development and function of
complex brain networks. Trends in Cognitive Sciences. 2004;8(9):418-425. DOI: 10.1016/j.tics. 2004.07.008.
27. Hilgetag CC, Burns GAPS, O'Neill MA, Scannell JW, Young MP. Anatomical connectivity defines the organization of clusters of cortical areas in the macaque monkey and the cat. Phil. Trans. R. Soc. Lond. B. 2000;355(1393):91-110. DOI: 10.1098/rstb.2000.0551.
28. Sporns O, Zwi JD. The small world of the cerebral cortex. Neuroinformatics. 2004;2(2):145-162. DOI: 10.1385/NI:2:2:145.
29. Barabasi AL, Albert R. Emergence of scaling in random networks. Science. 1999;286(5439):509-512. DOI: 10.1126/science.286.5439.509.
30. Bassett DS, Bullmore ED. Small-world brain networks. The Neuroscientist. 2006;12(6):512-523. DOI: 10.1177/1073858406293182.
31. Muldoon SF, Bridgeford EW, Bassett DS. Small-world propensity and weighted brain networks. Scientific Reports. 2016;6(1):22057. DOI: 10.1038/srep22057.
32. Bassett DS, Bullmore ET. Small-world brain networks revisited. The Neuroscientist. 2017;23(5): 499-516. DOI: 10.1177/1073858416667720.
33. Liao X, Vasilakos AV, He Y. Small-world human brain networks: Perspectives and challenges. Neuroscience & Biobehavioral Reviews. 2017;77:286-300. DOI: 10.1016/j.neubiorev.2017.03.018.
34. Milgram S. The small-world problem. Psychology Today. 1967;1(1):61-67.
35. Watts DJ, Strogatz SH. Collective dynamics of'small-world' networks. Nature. 1998;393(6684): 440-442. DOI: 10.1038/30918.
36. Latora V, Marchiori M. Efficient behavior of small-world networks. Phys. Rev. Lett. 2001;87(19): 198701. DOI: 10.1103/PhysRevLett.87.198701.
37. Latora V, Marchiori M. Economic small-world behavior in weighted networks. The European Physical Journal B - Condensed Matter and Complex Systems. 2003;32(2):249-263. DOI: 10.1140/ epjb/e2003-00095-5.
38. Simard D, Nadeau L, Kroger H. Fastest learning in small-world neural networks. Physics Letters A. 2005;336(1):8-15. DOI: 10.1016/j.physleta.2004.12.078.
39. Lynn CW, Bassett DS. The physics of brain network structure, function and control. Nature Reviews Physics. 2019;1(5):318-332. DOI: 10.1038/s42254-019-0040-8.
40. Anokhin KV. The cognitome: Seeking the fundamental neuroscience of a theory of consciousness. Neuroscience and Behavioral Physiology. 2021;51(7):915-937. DOI: 10.1007/s11055-021-01149-4.
41. Rulkov NF, Sushchik MM, Tsimring LS, Abarbanel HDI. Generalized synchronization of chaos in directionally coupled chaotic systems. Phys. Rev. E. 1995;51(2):980-994. DOI: 10.1103/ PhysRevE.51.980.
42. Aertsen AM, Gerstein GL, Habib MK, Palm G. Dynamics of neuronal firing correlation: modulation of "effective connectivity". Journal of Neurophysiology. 1989;61(5):900-917. DOI: 10.1152/jn.1989.61.5.900.
43. Boccaletti S, Kurths J, Osipov G, Valladares DL, Zhou CS. The synchronization of chaotic systems. Physics Reports. 2002;366(1-2):1-101. DOI: 10.1016/S0370-1573(02)00137-0.
44. Rosenblum M, Pikovsky A. Synchronization: From pendulum clocks to chaotic lasers and chemical oscillators. Contemporary Physics. 2003;44(5):401-416. DOI: 10.1080/00107510310001603129.
45. Malliaros FD, Vazirgiannis M. Clustering and community detection in directed networks: A survey. Physics Reports. 2013;533(4):95-142. DOI: 10.1016/j.physrep.2013.08.002.
46. Garcia JO, Ashourvan A, Muldoon S, Vettel JM, Bassett DS. Applications of community detection techniques to brain graphs: Algorithmic considerations and implications for neural function. Proceedings of the IEEE. 2018;106(5):846-867. DOI: 10.1109/JPROC.2017.2786710.
47. van den Heuvel MP, Hulshoff Pol HE. Exploring the brain network: A review on resting-
state fMRI functional connectivity. European Neuropsychopharmacology. 2010;20(8):519-534. DOI: 10.1016/j.euroneuro.2010.03.008.
48. Liao W, Ding J, Marinazzo D, Xu Q, Wang Z, Yuan C, Zhang Z, Lu G, Chen H. Small-world directed networks in the human brain: Multivariate Granger causality analysis of resting-state fMRI. Neurolmage. 2011;54(4):2683-2694. DOI: 10.1016/j.neuroimage.2010.11.007.
49. Stam CJ, van Straaten ECW. The organization of physiological brain networks. Clinical Neurophysiology. 2012;123(6):1067-1087. DOI: 10.1016/j.clinph.2012.01.011.
50. Kahnt T, Chang LJ, Park SQ, Heinzle J, Haynes JD. Connectivity-based parcellation of the human orbitofrontal cortex. Journal of Neuroscience. 2012;32(18):6240-6250. DOI: 10.1523/JNEUR0SCI. 0257-12.2012.
51. Yu C, Zhou Y, Liu Y, Jiang T, Dong H, Zhang Y, Walter M. Functional segregation of the human cingulate cortex is confirmed by functional connectivity based neuroanatomical parcellation. NeuroImage. 2011;54(4):2571-2581. DOI: 10.1016/j.neuroimage.2010.11.018.
52. Kashtan N, Alon U. Spontaneous evolution of modularity and network motifs. Proc. Natl. Acad. Sci. U.S.A. 2005;102(39):13773-13778. DOI: 10.1073/pnas.0503610102.
53. Lipson H, Pollack JB, Suh NP. On the origin of modular variation. Evolution. 2002;56(8):1549-1556. DOI: 10.1111/j.0014-3820.2002.tb01466.x.
54. Rota GC. The number of partitions of a set. The American Mathematical Monthly. 1964;71(5):498-504. DOI: 10.1080/00029890.1964.11992270.
55. Berend D, Tassa T. Improved bounds on Bell numbers and on moments of sums of random variables. Probability and Mathematical Statistics. 2010;30(2):185-205.
56. Graham RL, Knuth DE, Patashnik O. Concrete Mathematics: A Foundation for Computer Science. Reading, MA, USA: Addison-Wesley; 1994. 657 p.
57. Toker D, Sommer FT. Information integration in large brain networks. PLoS Comput. Biol. 2019;15(2):e1006807. DOI: 10.1371/journal.pcbi.1006807.
58. Mediano PAM, Seth AK, Barrett AB. Measuring integrated information: Comparison of candidate measures in theory and simulation. Entropy. 2019;21(1):17. DOI: 10.3390/e21010017.
59. Blondel VD, Guillaume JL, Lambiotte R, Lefebvre E. Fast unfolding of communities in large networks. Journal of Statistical Mechanics: Theory and Experiment. 2008;2008(10):P10008. DOI: 10.1088/1742-5468/2008/10/P10008.
60. Ng A, Jordan M, Weiss Y. On Spectral Clustering: Analysis and an algorithm. In: Advances in Neural Information Processing Systems 14. NIPS; 2001.
61. Faskowitz J, Yan X, Zuo XN, Sporns O. Weighted stochastic block models of the human connectome across the life span. Scientific Reports. 2018;8(1):12997. DOI: 10.1038/s41598-018-31202-1.
62. Barrett AB, Seth AK. Practical measures of integrated information for time-series data. PLoS Comput. Biol. 2011;7(1):e1001052. DOI: 10.1371/journal.pcbi.1001052.
63. Tononi G. Integrated information theory of consciousness: an updated account. Archives Italiennes de Biologie. 2012;150(2-3):56-90. DOI: 10.4449/aib.v149i5.1388.
64. Griffith V. A principled infotheoretic ^-like measure. arXiv:1401.0978. arXiv Preprint; 2014. 18 p. DOI: 10.48550/arXiv.1401.0978.
65. Oizumi M, Tsuchiya N, Amari S. Unified framework for information integration based on information geometry. Proc. Natl. Acad. Sci. U.S.A. 2016;113(51):14817-14822. DOI: 10.1073/ pnas.1603583113.
66. Oizumi M, Amari S, Yanagawa T, Fujii N, Tsuchiya N. Measuring integrated information from the decoding perspective. PLoS Comput. Biol. 2016;12(1):e1004654. DOI: 10.1371/journal.pcbi. 1004654.
67. VanRullen R. Perceptual cycles. Trends in Cognitive Sciences. 2016;20(10):723-735. DOI: 10.1016/ j.tics.2016.07.006.
68. Fiebelkorn IC, Pinsk MA, Kastner S. A dynamic interplay within the frontoparietal network underlies rhythmic spatial attention. Neuron. 2018;99(4):842-853. DOI: 10.1016/j.neuron. 2018.07.038.
69. Helfrich RF, Fiebelkorn IC, Szczepanski SM, Lin JJ, Parvizi J, Knight RT, Kastner S. Neural mechanisms of sustained attention are rhythmic. Neuron. 2018;99(4):854-865. DOI: 10.1016/ j.neuron.2018.07.032.
Нажесткин Иван Андреевич — окончил Московский физико-технический институт (2018) и аспирантуру МФТИ (2022). Защитил диссертацию на соискание ученой степени кандидата физико-математических наук по специальности «Биофизика» (2022, МФТИ). В настоящее время работает в Российском квантовом центре младшим научным сотрудником. Область научных интересов: исследование закономерностей нейронной активности головного мозга при приобретении навыков, разработка нейроморфных устройств на основе сверхпроводников.
Россия, 141701 Московская область, г. Долгопрудный, Институтский пер., 9 Московский физико-технический институт E-mail: nazhestkin@phystech.edu ORCID: 0000-0003-2482-7742
Сварник Ольга Евгеньевна — окончила Южно-Орегонский университет (США, 1996) со степенью бакалавра психологии, Республиканский центр гуманитарного образования (1998) и аспирантуру Института психологии РАН (2001). Защитила диссертацию на соискание ученой степени кандидата психологических наук по специальности «Психофизиология» (2003). Работает в лаборатории психофизиологии им. В. Б. Швыркова Института психологии РАН в должности ведущего научного сотрудника. Область научных интересов: активность мозга и отдельных нейронов в процессе приобретения и хранения навыков/знаний.
Россия, 141701 Московская область, г. Долгопрудный, Институтский пер., 9
Московский физико-технический институт
Россия, 129366 Москва, ул. Ярославская д. 13, к. 1
Институт психологии РАН
E-mail: olgasvarnik@gmail.com
ORCID: 0000-0002-0439-4532
AuthorlD (eLibrary.Ru): 92096
