CC BY
204
индивиду ритмов i как
DOI: 1 УДК
Поступила 7
Г.А. Ивани
й научный сотрудник лаборатории высшей нервной деятельности человека
Институт высшей нервной деятельности и нейрофизиологии РАН, ул. Бутлерова, 5а, Москва, 117485
едпринята попытка подытожить результаты исследований, проводимых нами на протяжении более чем двадцати лет.
ы впервые опубликовали данные, свидетельствующие, что тип выполняемого человеком задания (пространственное или етическое) может быть распознан по спектрам текущей ЭЭГ и с применением искусственной нейронной сети с надежностью до 98% (в зависимости от испытуемого). Дальнейшая разработка темы привела нас к пониманию того, что всякая устойчи-ая мыслительная деятельность сопровождается появлением характерных ритмических паттернов в ЭЭГ человека. Ритмы ЭЭГ, в совокупности образующие паттерн, различаются по частоте и топографии. Когнитивные паттерны ритмов ЭЭГ обладают рядом принципиальных свойств. Они высокоиндивидуальны, устойчивы для каждого данного индивида и сохраняются годами (медленно изменяясь), высокоспецифичны для каждого конкретного вида когнитивной деятельности.
В дальнейшем было обнаружено, что возникающие паттерны ритмов мозга не только различны для разных видов когнитивных заданий, но находятся друг с другом в определенных отношениях, повторяющих отношения психологических свойств заданий. Основываясь на этом факте, мы разработали метод построения карт когнитивного пространства человека. Выяснилось, что аналогичным образом можно строить карты сенсорно-эмоционального пространства человека.
В экспериментах с предъявлением эквивалентных заданий на слух и зрительно мы установили, что паттерны ритмов отражают именно характер мыслительных действий, а не особенности сенсорного восприятия.
Разработанные методики распознавания характера ментального состояния и построения карт психического пространства находят практическое применение, в том числе в медицине. При психических заболеваниях нарушаются процессы мышления, и мы видим это в изменении когнитивных ритмических паттернов ЭЭГ. При угнетении сознания эмоционально-сенсорные пространства начинают отражать физические свойства предъявляемых пациентам стимулов вместо их эмоционального содержания.
Накопленные знания дали возможность разработать макет устройства (названного «когновизор»), которое позволяет в реальном масштабе времени отслеживать ход мышления человека с отображением процесса на карте индивидуального когнитивного пространства.
Ключевые слова: ЭЭГ; ритмы мозга; когнитивная деятельность; эмоции; когнитивное пространство; когновизор; психопатология; угнетенное сознание.
Как цитировать: Ivanitsky G.A. Individual stable patterns of human brain rhythms as a reflection of mental processes. Sovremennye tehnologii v medicine 2019; 11(1): 116-131, https://doi.org/10.17691/stm2019.11.1.14
English
Individual Stable Patterns of Human Brain Rhythms as a Reflection of Mental Processes
G.A. Ivanitsky, DSc, Leading Researcher, Laboratory of the Human Higher Nervous Activity
Institute of Higher Nervous Activity and Neurophysiology, Russian Academy of Sciences, 5A Butlerova St.,
Moscow, 117485, Russia
Here, we attempt to summarize our research conducted for more than twenty years. Back in 1997, we were the first to publish the data indicating that the type of cognitive task (spatial or arithmetic) performed by a subject can be identified with a reliability of 70 to 98% (dependent on a subject) by analyzing the EEG spectra and using an artificial neural network. Further research led us to the understanding that any sustainable mental activity was accompanied by characteristic rhythmic EEG patterns. Individual EEG rhythms (that in totality form a pattern) differ in their frequency and topography. Cognitive patterns of EEG rhythms have a number of fundamental characteristics.
Для контактов: Иваницкий Георгий Алексеевич, e-mail: [email protected]
They are highly specific and stable in each individual and persist for years (slowly changing); they are also highly specific for each type of cognitive activity.
Later it was found that the arising patterns of brain rhythms were not only different for different types of cognitive tasks but also interrelated with each other in the way similar to the inter-relations of psychological characteristics of the tasks. Based on this finding, we have developed a method for creating a map of a person's cognitive space. It turned out that, by using this method, one can draw maps of a human sensory-emotional space.
In experiments with the presentation of equivalent audial and visual tasks, we found that the EEG rhythm patterns reflected the very nature of mental acts, and not processes of sensory perception.
The developed methods for distinguishing between different mental states and for creating mental space maps have found their practical use including that in medicine. In mental illnesses, the thinking ability is impaired, which is manifested in changes in the cognitive rhythmic patterns of the EEG. When consciousness is depressed, the emotional-sensory spaces reflect rather the physical properties (and not the emotional content) of the stimuli presented to patients.
The accumulated knowledge made it possible to develop a device prototype (called "cognovisor"), which allows for real-time tracking of one's thinking process and displaying it on a map of the individual cognitive space.
Key words: EEG; brain rhythms; cognitive activity; emotions; cognitive space; cognovisor; psychopathology; depressed consciousness.
Введение
Распознавание процессов восприятия и мышления по сигналам мозга. Методику распознавания ментальных состояний по сигналам мозга часто называют «чтением мозга» (brain-reading). Нужно отметить, что этот термин был впервые использован для технологии восстановления субъективного содержания мозга человека по данным функциональной МРТ (фМРТ) [1], а не ЭЭГ (как это сделали мы за восемь лет до появления термина [2, 3]).
В настоящий момент работы по «чтению мозга» можно условно разделить на несколько более узких специализированных направлений.
Распознавание категорий воспринимаемых объектов по данным фМРТ. В рамках этого направления наиболее известной является работа J.V. Haxby [4]. Испытуемым, помещенным в установку фМРТ, предъявляли зрительные стимулы нескольких категорий (дома, обувь, мебель, лица и др.). Анализируя активность высших зрительных и височных ассоциативных областей коры больших полушарий, авторы нашли различия между активностью мозга, вызываемой стимулами разных категорий. При этом каждой категории соответствовал определенный сложный паттерн активации — найти единственный локус, ответственный за данную категорию, оказалось невозможно. также авторы научились определять категорию объекта, на который в данный момент смотрит испытуемый. Распознавание выполнялось с надежностью более 95%. Таким образом, оказалось возможным по сигналу мозга определять когнитивное состояние человека в режиме реального времени (с точностью до временного разрешения метода фМРТ — около 10 с).
Группой ученых под руководством P. Pietrini [5] были поставлены аналогичные опыты, но с тактильным предъявлением стимулов здоровым испытуемым, а также людям, слепым от рождения. Установлено, что тактильные стимулы также хорошо дискриминируются
по категориям, а каждой категории соответствует свой паттерн активации мозга. При этом слепые от рождения используют дополнительную зрительную кору для опознания тактильных стимулов.
С. Шинкарева научилась распознавать по BOLD-сигналу восприятие испытуемыми изображений инструментов или жилищ [6], подтвердив результаты J.V. Haxby.
Дальнейшим развитием исследований по чтению мозга стала технологически изощренная работа [7], в которой испытуемым предъявлялись видеофрагменты и по сигналу фМРТ, с помощью фильтров Габора, восстанавливалось исходное видеоизображение. Хотя качество восстановления нельзя назвать идеальным, работа вызвала интерес и активно цитировалась.
Распознавание характера мыслительной деятельности по фМРТ. Более всего идеологически близки к нашим работам исследования T.M. Mitchell и его коллег, в частности результаты, описанные в статье 2004 г. [8]. Авторы предлагали испытуемым для выполнения различные когнитивные задания, например: демонстрировалась картинка, а затем (через промежуток времени) — предложение. Нужно было ответить, описывает предложение показанную картинку или нет. Задания предъявлялись многократно при параллельной регистрации фМРТ.
Задачей исследователей было научиться отличать отрезки времени, в которых испытуемый осуществляет разные когнитивные действия, например, рассматривает картинку или понимает предложение. Состояния распознавались в псевдореальном масштабе времени с точностью до временного разрешения метода, которое в данном случае составляло около 5 с. В качестве обучаемого классификатора наиболее эффективной оказалась машина опорных векторов (support-vector machine). Относительная ошибка классификации для приведенного примера заданий была равна 0,11 (0 — идеальная классификация; 0,5 — случайная).
Авторы позиционируют созданный ими метод как
основу для будущего исследовательского инструмента, позволяющего отслеживать «траекторию мысли» человека, что полезно, по их мнению, во многих практических приложениях: обучении, когнитивных исследованиях, медицине (в частности, неврологии и психиатрии).
В работе [9] те же исследователи научились предугадывать паттерны активации мозга при предъявлении вербальных стимулов, не использовавшихся ранее.
Работы в парадигме «интерфейс мозг-компьютер» (ИМК). Основной целью ИМК является безмускульное управление внешними устройствами (тележкой, экзоскелетом, компьютером и т.д.) за счет электрических сигналов мозга. ИМК бывают инвазив-ными (внутричерепные электроды) и неинвазивными (поверхностная ЭЭГ). Более принципиальной является необходимость различать так называемые синхронные и асинхронные интерфейсы. Первые основаны на распознавании вызванной активности мозга; их примером служит ИМК «пишущая машинка», которая работает на компоненте вызванного потенциала P300. В ИМК второго рода — асинхронных — человек произвольно меняет ход своих мыслей, а система, анализируя текущую ЭЭГ, угадывает мысли и предпринимает необходимые действия. Очевидно, что синхронные ИМК имеют ограниченное, узкоспециальное применение (например, установление контакта с полностью обездвиженным пациентом). Напротив, асинхронные ИМК (при их достаточном развитии) могут найти широкое и универсальное применение как в медицине, так и в других областях деятельности человека (например, в производстве или военной сфере).
Таким образом, неинвазивные асинхронные ИМК тоже являются в сущности устройствами «чтения мозга». Исходя из основного назначения ИМК — управлять внешними устройствами, — в качестве ментальных состояний часто выбираются воображаемые движения [10, 11]. Используют показатели мощности ритмов моторной коры в определенных индивидуально-зависимых частотных диапазонах [10] или методику десинхронизации, связанной с событием (event related desynchronization) [11]. В отдельных случаях точность распознавания единичных воображаемых движений достигает 98% [11].
Интерфейс мозг-компьютер, основанный на воображаемых движениях, активно разрабатывается в России коллективом исследователей под руководством профессора А.А. Фролова. Применение дополнительных методов обработки исходного сигнала (например, метода независимых компонент — independent component analysis), позволило повысить надежность и чувствительность системы [12, 13].
Распознавание характера мыслительной деятельности по ЭЭГ. В то же время существует сравнительно небольшое количество работ, ставящих своей целью именно распознавание ментальных состояний по ЭЭГ — без очевидной и непосредствен-
ной привязки к прикладным задачам, как это имеет место в случае с ИМК [14, 15]. Работа [14] имеет много общего с нашими исследованиями. Испытуемые последовательно пребывали в пяти ментальных состояниях: покой; воображение движений правой или левой рукой; мысленное вращение куба; вычитание чисел. В качестве классификатора использовалась компактная искусственная нейронная сеть. Выполнялась классификация на три класса, которая была успешной не во всех случаях. Так, состояния покоя, вращения куба и воображения движения рукой хорошо различались между собой — с надежностью около 90%. Также хорошо различались и состояния внутри триады «покой-вычитание-рука». В то же время вращение куба и счет различались между собой плохо. Забегая вперед, скажем, что в нашей работе, результаты которой были опубликованы на пять лет раньше [2], задачи на вращение фигур и устный счет различались с надежностью 87% в среднем по шести испытуемым.
В работе [15] появление коротких эпизодов решения арифметической задачи на фоне текущей ЭЭГ выявляли с надежностью, близкой к 100%, с помощью мультифрактального анализа.
Шкалирование психических явлений и построение соответствующих пространств. Процедуры шкалирования психических явлений проводятся в психологии не один десяток лет, но всегда были основаны на преобразованиях либо результатов опроса испытуемых (субъективное психологическое шкалирование), либо результатов психофизических (т.е. поведенческих) экспериментов (объективное психологическое шкалирование). Были получены так называемые пространства восприятия.
Подход к психологическому шкалированию основан на том, что суждение о сходстве или различии психических явлений соотносится с расстоянием между точками, отображающими эти явления в некоем пространстве. Чем более сходны между собой психические явления, тем ближе друг к другу в пространстве расположены представляющие их точки, и наоборот.
Шкалирование на основе психофизических экспериментов с получением в итоге пространства восприятия проводили в работах [16-20], на основе опросов — в работе [21]. Следует отметить, что все процитированные работы — отечественные и относятся к 70-м и 80-м годам прошлого столетия, когда советская инструментальная психология переживала свой расцвет. Основная заслуга в этом, несомненно, принадлежит Е.Н. Соколову.
Из современных зарубежных статей по картированию состояний психики следует отметить работу, выполненную с использованием фМРТ [22]. В ней семантическое древо нанесено на изображение расправленной коры больших полушарий мозга.
Итак, в этом разделе мы очень кратко рассмотрели основные работы, идеологически и/или методически соотносящиеся с нашими.
оригинальные исследования
Методы
Общие особенности проведенных экспериментов. На протяжении более чем 20 лет мы поставили десятки экспериментов, в которых приняли участие сотни испытуемых, но у всех схем были общие черты.
1. Опыты в одной экспериментальной серии проходили для всех испытуемых по неизменному сценарию. Испытуемый выполнял задания нескольких типов, при этом для каждого из них имелось несколько десятков стереотипных вариантов. Все задания всех типов предъявлялись вперемешку, в случайном порядке. Трудность заданий подбиралась таким образом, чтобы время их выполнения было порядка 10-20 с, а процент ошибок — не более З0%. В экспериментах с эмоциями параметры стимуляции несколько отличались от указанных из-за специфики процесса. В среднем опыт с одним испытуемым продолжался полтора-два часа с одним или двумя перерывами для отдыха.
2. В течение всего эксперимента проводили запись ЭЭГ от 19 электродов, установленных по расширенной системе 10-20%. Параметры записи ЭЭГ были стандартными (частота оцифровки — 250 Гц, фильтры — от 0,1 до 70 Гц, нотч-фильтр — 50 Гц, сопротивление электродов — менее 10 кОм). В разные годы были использованы электроэнцефалографы разных фирм: Biotop (Япония), Medicor (Венгрия), ATES Medica (Италия-Россия), «Медиком-МТД» (Россия). Территориально первые серии опытов выполняли в Японии в Лаборатории функций мозга (Brain functions laboratory, Kawasaki), но большинство — в лаборатории высшей нервной деятельности человека Института высшей нервной деятельности и нейрофизиологии РАН в Москве. С нашей точки зрения тот факт, что эксперименты, проведенные в разных странах и лабораториях и на разном оборудовании, давали принципиально одинаковые результаты, является дополнительным аргументом в пользу валидности полученных данных и говорит о том, что мы наблюдаем универсальный и устойчивый феномен, мало зависящий от методических деталей.
3. Параллельно с ЭЭГ по отдельному каналу записывали метки с дополнительной информацией о ходе эксперимента и по двум каналам — электроокуло-грамму. С помощью регрессионной процедуры (описана в работе [23]) проводили отстройку от глазодвигательного артефакта. Это позволяло не накладывать ограничения на движения глаз испытуемых (в частности, мы не просили их не моргать).
4. Всю обработку данных выполняли на индивидуальном уровне, отдельно для каждого испытуемого.
Предварительная обработка ЭЭГ. При работе с данными ЭЭГ все записи проходили предварительную подготовку.
1. Из непрерывной записи ЭЭГ вырезали эпохи, соответствующие выполнению заданий, а также (в некоторых случаях) — эпохи из межстимульных интервалов, соответствующие состоянию оперативного покоя.
В опытах с эмоциями выбирали отрезки ЭЭГ, соответствующие предъявлению эмоционально-значимых стимулов.
2. Вычисляли квадраты модуля преобразования Фурье от единичных реализаций ЭЭГ, нестрого называемые нами «единичными спектрами мощности». Фурье-преобразование выбрано потому, что частотный спектр дает адекватную и наглядную оценку ритмического наполнения ЭЭГ. Размер окна анализа ЭЭГ составлял 16 или 32 с, кроме опытов с реальным временем (когнитивный ИМК и когновизор, см. ниже), где он равнялся 2 или 4 с. Диапазон анализируемых частот в когнитивных экспериментах — 5-20 Гц; в экспериментах с эмоциями нижняя частота опускалась до 1,6 Гц (чтобы «захватить» дельта-ритм). Ритмы верхнего бета-диапазона, а также гамма-диапазона нами не учитывались.
3. Дополнительно строились усредненные спектры мощности ЭЭГ, характерные для каждого задания или эмоции, что давало общую наглядную картину различий в паттернах ритмов ЭЭГ.
Классификация психических состояний по ЭЭГ с помощью искусственной нейронной сети. В качестве классификатора, используемого для распознавания ментальных состояний по ЭЭГ, мы применяли простую искусственную нейронную сеть типа «Перцептрон», описанную в работе [24]. Схематичное изображение этой сети приведено на рис. 1. На вход сети подаются отсчеты единичных спектров мощности во всех отведениях, выстроенные в ряд. Выход сети кодирует распознанный класс (число выходных элементов равно числу классов). Сеть обучается по одним данным (учебная выборка), а тестируется — по другим (контрольная выборка).
Эффективность классификации оценивалась процентом правильного распознавания (ППР) контрольной выборки данных. Вычислялся порог достоверно неслучайной классификации. При двух классах, 30 стереотипных заданиях в каждом классе и при уровне статистической значимости 0,05 (принятом в биологии) порог достоверно неслучайной классификации равен 65%. Это значит, что если ППР получился выше 65%, то вероятность случайного результата — ниже 0,05. Переходя к психофизиологической интерпретации получаемых цифр, можно сказать, что если ППР >65%, то суждение о присутствии в ЭЭГ разных ритмических паттернов, характерных для разных ментальных состояний, можно считать обоснованным.
Мы выбрали сеть «Перцептрон», потому что она проста, устойчива в работе, а главное — позволяет легко интерпретировать свои внутренние веса.
Построение когнитивных (эмоциональных) пространств. Ключевой момент в построении пространства зарегистрированных данных состоит во введении метрики. В нашем случае мы регистрируем паттерны ритмов ЭЭГ и ввести метрику — это найти способ измерить расстояния между паттернами. Малое расстояние должно означать, что паттерны
с Выходной (эффекторный) слой элементов )
непинеин°е преобразование Нелинейное преобразование
у у
Веса связей
Входной (рецепторный) слой элементов
Элементы
Рис. 1. Схема искусственной нейросети [23, 24]
ритмов мозга для двух рассматриваемых психических состояний похожи, а большое — что они разные. В проведенных исследованиях нужно было подтвердить или опровергнуть гипотезу, что близкие в психологическом смысле состояния порождают схожие паттерны ритмов мозга и, наоборот, далекие состояния порождают сильно различающиеся паттерны.
Метод вычисления расстояний описан в работах [25, 26]. Он основан на оценке достоверности различия спектральных отсчетов в отведениях ЭЭГ с помощью и-критерия Манна-Уитни по статистическому ряду единичных спектров мощности. Затем вычисляется отношение числа достоверно различающихся отсчетов к их общему количеству. В результате получается индекс различия паттернов (т.е. расстояние) в диапазоне от 0 до 1.
После того как расстояния между паттернами вычислены, нужно визуализировать их взаимные отношения. Для этого строится карта, на которой условные значки, соответствующие разным паттернам ритмов мозга (и, соответственно, разным психическим состояниям), располагаются на плоскости так, чтобы расстояния между значками максимально точно соответствовали экспериментально измеренным индексам различия паттернов. Подобные задачи решаются методами многомерного шкалирования. Мы использовали один из самых простых и популярных среди них — проекцию Сэммона [27]. В результате на карте получается «констелляция» психических состояний.
Когнитивный ИМК. Идея технологии основана на гипотезе о том, что в процессе постоянного выполнения определенного рода когнитивной деятельности испытуемый «врабатывается» в эту деятельность, при этом в его ЭЭГ устанавливаются характерные ритмические паттерны. Если с помощью биологической обрат-
ной связи обучать испытуемого поддерживать определенные паттерны ритмов, то деятельность будет более успешной. В качестве обратной связи использовалась анимация изображений с заданиями: испытуемому давалась подсказка, если работающий в реальном масштабе времени классификатор обнаруживал установление в ЭЭГ желаемого паттерна ритмов [28].
Когновизор. На основе накопленных данных был создан макет устройства (когновизор), позволяющий в реальном масштабе времени отслеживать ход мышления человека, отображая его в виде «рабочей точки сознания», перемещающейся в индивидуальном когнитивном пространстве. В когновизоре расстояния между паттернами ритмов ЭЭГ вычисляются с помощью искусственной нейронной сети.
Макет когновизора тестировался в экспериментах с предъявлением испытуемым восьми видов когнитивных заданий двух типов — пространственных и вербальных. До начала работы когновизора на основе предварительной записи ЭЭГ строилось индивидуальное когнитивное пространство испытуемого. Затем в режиме реального времени вычислялось расстояние от текущего паттерна ЭЭГ до паттернов восьми известных ментальных состояний. Рабочая точка располагалась на карте индивидуального когнитивного пространства в соответствии с вычисленными расстояниями. Технология подробно изложена нами в работе [29].
Когнитивные и эмоциональные стимулы. В экспериментах использовались многочисленные вербально-логические и пространственно-образные задания, предъявляемые испытуемым в качестве стимулов. Использовались также задачи на счет. Большинство когнитивных стимулов предъявлялось на экране компьютера, но была также проведена серия опытов с четырьмя аудиально предъявляемыми
в < □
оклреб
Рис. 2. Примеры пространственного и вербального заданий:
а — дополнить верхнюю белую фигуру одной из серых до квадрата; б — решить анаграмму [28]
Рис. 3. Примеры эмоционально-значимых стимулов
Разнообразие стимулов описывается в двух шкалах: эволюционной древности органа чувств (горизонтальная шкала на рисунке) и приятность-неприятность (вертикальная шкала). По 40 стереотипных приятных и неприятных зрительных и слуховых стимулов предъявлялись по 8 с каждый, а каждый из тактильных и ольфакторных стимулов экспонировался 4 раза по 30 с. Зрительные стимулы взяты из базы International Affective Picture System (IAPS), слуховые — из базы International Affective Digitized Sounds (IADS). На рисунке неприятный зрительный стимул затушеван по этическим соображениям, но испытуемым, давшим информированное согласие, он предъявлялся в исходном виде
когнитивными стимулами, которые были эквивалентны стимулам, предъявляемым зрительно. На рис. 2 представлены два типичных зрительных стимула — вербальный и пространственный, для которых классификация на два класса была весьма успешной. Первое задание — выбрать фигуру из трех серых фигур, которая после растяжения или сжатия дополнит белую фигуру до квадрата. Второе задание — это анаграмма, в которой нужно угадать слово, переставив буквы.
Эмоциональные стимулы предъявлялись в разных сенсорных модальностях: обонятельной, осязательной, слуховой и зрительной. В каждой сенсорной модальности было несколько стимулов, отличающихся субъективной оценкой приятности — от приятных до неприятных. На рис. 3 показаны некоторые из использованных стимулов.
Испытуемые. В каждой серии экспериментов участвовали несколько десятков испытуемых (в среднем 25-35, кроме первых опытов в Японии, в которых приняли участие только 5 человек). Как правило, это были молодые люди — студенты вузов, но участвовали и люди среднего возраста. Соотношение мужчин и женщин — примерно 2:1. В 1992-1993 гг. испытуемые были японцами, в остальных опытах — гражданами РФ. Все обследуемые лица перед началом работы были проинформированы о ходе эксперимента, возможных проблемах, убеждены в полной безвредности методики для здоровья. Перед началом основного опыта люди проходили обучение решению задач вне камеры и без постановки электродов, выполняя по 5-20 заданий каждого вида. В более поздних экспериментальных сериях опыты были одобрены Этическим
комитетом Института высшей нервной деятельности и нейрофизиологии РАН, а испытуемые давали письменное информированное согласие на участие в исследовании.
Еще раз подчеркнем, что при всех различиях особенностей методики, в частности разнообразии контингента испытуемых, результаты всех опытов оказались очень близки — и количественно, и качественно.
Результаты
Различия в усредненных спектрах мощности ЭЭГ. Различия в ритмическом наполнении ЭЭГ, как правило, хорошо видны на усредненных спектрах мощности. Сами спектры высокоиндивидуальны, но для каждого данного индивида сохраняются, по-видимому, пожизненно, медленно изменяясь (проверено в лонгитюдных экспериментах на единичных испытуемых с интервалами между опытами в 10-15 лет).
Некоторые признаки типов мышления характерны для многих испытуемых. Пример таковых показан на рис. 4. В нижней части рисунка приведены четыре вида заданий: 1) дорожная развязка: нужно проехать
из точки О в одну из точек — А, В или С, не нарушая правил движения; 2) логическое заключение: исходя из первого высказывания, определить, справедливо ли второе; 3) сборка фигуры: определить, какую из трех нижних фигур можно собрать из фрагментов, показанных вверху; 4) сложные слова: вместо точек вставить буквы, образующие конец одного слова и начало другого. Очевидно, что задания 1 и 3 являются пространственными, а 2 и 4 — вербальными (первые обозначены зеленым цветом, вторые — красным). На левой панели рис. 4 показаны усредненные спектры мощности ЭЭГ одного испытуемого при выполнении заданий 1 и 2, а на правой — заданий 3 и 4. Хорошо видны признак пространственного мышления — ритм частотой ~11 Гц в центральных и передних отведениях, больше справа, и признак вербального мышления — ритм частотой ~8 Гц в тех же отведениях, но больше слева.
Распознавание типа осуществляемого мышления по спектрам ЭЭГ с помощью искусственной нейронной сети. Во всех наших экспериментах ППР ментальных состояний с классификацией на два или три класса был много выше порога достоверно неслучайной классификации. В большинстве случаев
Рис. 4. Четыре вида заданий и усредненные спектры мощности ЭЭГ одного испытуемого, устанавливающиеся при выполнении этих заданий
Шкала частот — от 5 до 18 Гц; шкала удельной мощности спектров — от 0 до 18 мкВ2/Гц. Другие подробности см. в тексте
он был на уровне 87% в среднем по всем заданиям и всем испытуемым (при пороге достоверно неслучайной классификации на уровне примерно 65%). Ниже перечислены конкретные цифры ППР полученные в разных экспериментальных сериях.
1. Лаборатория функций мозга, Япония, 19921993 гг. [2]. Стимулы: пространственные задачи (как на рис. 2, а) и задачи на счет (сложение в уме двух произведений). Распознавалось также состояние оперативного покоя; таким образом, классификация проводилась на три класса. Средний ППР — 90, 84, 96% соответственно. Среднее по мыслительным заданиям — 87%. Состояние покоя распознавалось с высокой надежностью преимущественно по затылочно-те-менному альфа-ритму.
2. Институт высшей нервной деятельности и нейрофизиологии РАН, 1998 г. [30]. Стимулы: логическое заключение (как на рис. 4) и пространственная задача (как на рис. 2, а). Средний ППР — 84 и 91% соответственно. Среднее по заданиям — 88%.
3. Институт высшей нервной деятельности и нейрофизиологии РАН, 2007 г. [31]. Стимулы: восемь видов заданий (рис. 5), по четыре пространственных (в том числе задание «сечение куба», ранее не объясненное в тексте этой статьи) и четыре вербальных. Показанные на рисунке средние по испытуемым ППР имеют следующий смысл:
1) два конкретных вида заданий, принадлежащих разным типам мышления, распознаются с ППР 86%;
2) два типа мышления — пространственное vs вербальное — с ППР 76%. В этом случае распознавались задания не того конкретного вида, по которому шло обучение. Например, обучение — по анаграммам и дополняющим фигурам, а распознавание — по сложным словам и дорожной развязке. Поскольку ППР выше порога неслучайности, можно утверждать, что пространственное и вербальное мышление имеют ритмические признаки ЭЭГ инвариантные относительно конкретного вида выполняемых действий;
3) отдельные виды заданий внутри одного типа мышления тоже могут быть распознаны: вербальные между собой — с надежностью 73%, пространственные между собой — 72%. Это говорит о том, что частные виды когнитивной деятельности также имеют свои черты, проявляющиеся в особенностях ритмики ЭЭГ, хотя эти черты менее выражены, чем черты принципиальных типов мышления.
4. Институт высшей нервной деятельности и нейрофизиологии РАН, 2015 г [32]. Применен метод независимых компонент (ICA). В работе определен оптимальный набор компонент, который дает наилучшую классификацию. В результате ППР удалось повысить с 87 до 89% (меньше, чем мы ожидали).
Рис. 5. Восемь видов заданий двух типов (по четыре пространственных и вербальных) и процент правильного распознавания между ними
Объяснение см. в тексте
¡3
О
2
н
0
i!
гп
* I
£ I » »
к «
к
с
1
Рис. 6. Усредненные спектры мощности для заданий «сечение куба» {зеленая кривая) и «составление предложения» {красная кривая) для одного из испытуемых:
а — зрительная модальность; б — слуховая модальность; шкала частот — от 5 до 20 Гц; полоски внизу под графиками показывают участки достоверного превышения одной кривой над другой; стрелки показывают признаки типов мышления, одинаковые для двух сенсорных модальностей [33]
01 а! 3
5 о ®
ГС ?
со ч
^ ГО О) I
сг
I
о °
о
—1 V
го -
=1 со Я1
ГС Ш 03
I :£, ^
СГ ш 5
я, I °
1 о 1
0 ° ш
я н я
2 Е О! =1 о
го О) тз
СО (-)
■К 5 °
Ш т ГО
1 ^ о Е Ч ы я -I -О . ы И
I п
СО
ш ь ш
|з
ГС . I , сг
0 =1 Е! О
1 я
ш ТЗ
ш
^ I
со 3
ш го
ь ГС
оз I
I I
^ О
я о
I о
н ш
5 о\
50 ч
тз ш
I
сг
X 03 О _С
О)
о\ о: го ш
ГС
о о\
0
со
1
ш г. ш 5 Е
о о\ Е
^ ° 1
О аЕ
ТЗ о X
^ СО ■
ш г =1
О ^ О
0 Ш |
го о 33
Я1 =" 3
го тз 5 ойг
1 § 1 § I 3
03 £ °
х 21 I
I О 5
° -1 2
^ 03
тз .ГС Ч
го ь О
д гс
К Е §
Го — 2
^ о
Н 5 ш
сг о ш
о 5
- I
■ч т;
^ ГС
со
I
О ГО ГС ГО ^ тз О
х Э
I о
><
СГ) I
- гс
СО О 03 ь
гс о
I
Гс ^ I
ш
со
п> я:
О ГС
^ тз ^
О X =!
го I ^
П1 ^ ^
X
|о
«I
0
"о 5
03 р
4 гс
1 гс о о гс я
О I
? о
I
гс
оз о о о .1=
* о
03 ^ 5 О
4 03 2 | о ^ о
го ^
оз гс
^ а
тз
03 =1
з оз
2 со
Гс ^ I
-I о
о\
о: ^
о
I °
I 8
X ь
ж ^
гс
I о 8
со
го
£ -а £ Е
2 гс
ТЗ 3
ё =
^ =1
-Г ГО
¡"8
3 8
со
¡1
оз ^
со ^ оз
I .
1 го
2 я
X П1
^ со ш
I
- ■ гс
=1 ч
ш 03
31
о ^ о
го Ь
О |
-Я1 ^
ТЗ 03 со о
□ X ^ 2
"&ГО
§ I
СГ о
и
шЕ
о I
го о
о ч г.
ш ч 2=1
00
^ я
ь гс
о со о
ел о о
сл со ^
^ гс ч ь о тз гс тз
о
СП го гс
СГ СГ I
^ X ч о
ш ^ го
о о со о СГ го
ь ч
ш I гс п о
ш ^ —1 о
СГ X тз СГ
I го X
гс го о со тз ^ тз
ш
ш гс I
х -
о го о
ь тз 7^ I о
гс ч ш со ^ ш со ш СГ X 3 ■О
гс ч ^ в)
^ г. СГ о X
СГ I ^ ь о
I о СГ ч о тз о 3 0) в) п
о ч ^ ь ^ ^ ш ч а\ I о
I ч гс го гс
о тз ^
ш тз тз СГ
I со I ш 5 ^
ш X I СГ СГ а\ о
о X тз ч ш о
ь ^ о
я ч го ч ^ X ^
^ ___ гс
о ь о К) ь
я о го сл о
ь тз го о о К) стз го ш I
"-< о —1
-1 X
о I гс а\
СГ о
ь ч ^
тз ^ тз о
го о о
-1 о I о о ч о ^ о ш I
ь
ш § §
ф з
? ^
ф <
2 ш
3 ^ ^ р
О О)
(V) ^
X
с 3 с о X о
(VI
о о
I тз
гс ш
€ I р
I о
^ о
§ £
^ ГО
I Л
о Ш
со ГС
ш ^
ГО СГ
^ I
о
55
0 -С
ч ш
й ч
ГС СГ
1
о со
о ¥
00
ш ^ 5 го
тз о
СГ ^
гс о
о гс о\ =1
й гс го ^
=1 ^
^ о
ГО £
=■ я
и 1Р
тз
го ¥
Ь й
ЕГ I
о ¡1 и
го аз
§ X Т-, ГО
■Ё о й -С О 03 |ГО
Я ь
го тз
Л о
о ^
гс гс
£ гс
гс Е
* I
а\ ^ ш
=1 СО тз ТЗ
гс
о ^ ^
Н Гс $
о
о !
ш
го Я тз "'
>10)
го ш
со
^ гс
О
^ м-
о — т
Ь =, »
^ 8 о
0 П ^ ^ ш «
" со ®
Го й го
5" 1 £
1 - 8 X ^
. " со
I
I £ I
о
I Ь ш М
9 5
I е
го го
ш гс
I ь
сг гс
— I
со ^
ш
ь
Ш ч
I ш
ю о
го о
Тц ГС
О I
го 5
"2 § с
Э а
со со
со х ш „.
ь
X
гс
о\
Е Ь ^ аз
гс
21
§ Ч
гс -з
1 ^
а тз
гт, О
о
ф а:
0 0>
^ -8- 2
^ | 2
о» § о
3 с -о
За I
Л о о
<5 о с<
1 I § О с о
(б ф о, р>
о-X о о
3 с о
3 с
о г
г
я
>
>
в4 я
Е
н
я
Л
Л >
н
>
О
Я
>
я я
Рис. 7. Примеры заданий с градуально-изменяющимися свойствами пространственности, образности и вербаль-ности
Задания подробно описаны в тексте. Цвета (в последовательности цветов радуги) кодируют изменение психологических свойств заданий: синий цвет — пространственность; красный — вербальность; зеленый — образность
№а<?>
1. Океан
2. Крокодил
3. Картинка
4. Небо
Ф Ф & Ф
Шляпа Калитка
Буквы Клюв
1. Куб
2. тетрадь
3. Крылья
4. Дверь
л
14
1 2 3
1. Стандарт
2. Везение
3. Провал
4. Преступление
Экспертная оценка 20 экспертов
ЭЭГ-данные 30 испытуемых
+ щ,
★цц Ш 0
Образ / * * ность ¥ ▲
ж Пространственность • ' Вербальность
Образность
*
Пространственность
+
Вербальность
б
Рис. 8. Объективно и субъективно определенные когнитивные пространства
Карты когнитивного пространства, полученные путем опроса экспертов-психологов (а) и на основе количественного анализа ритмов мозга (б). Сверху показаны виды заданий — те же, что на рис. 7, и с тем же значением цветов
а
По методике, описанной выше, была построена карта когнитивного пространства. Кроме построения карты на основе электрофизиологических данных было проведено анкетирование экспертов по поводу применявшихся стимулов. Эксперты — 20 профессиональных психологов — дали оценку стимулам в шка-
лах «пространственность», «образность», «вербальность» по 10-балльной шкале. Методика подробно описана в работе [26].
На рис. 8 представлены две усредненные по испытуемым карты когнитивного пространства. Первая карта получена на основе анализа ритмов ЭЭГ путем
усреднения индивидуальных карт, вторая — на основе усредненных балльных оценок экспертов. Карты хорошо совпадают: векторный коэффициент корреляции равен 0,98. Таким образом, можно сделать вывод: пространство ритмических паттернов ЭЭГ изоморфно пространству психологических характеристик видов когнитивной деятельности, во время которых эти паттерны устанавливаются.
Сенсорно-эмоциональное пространство. Имеются работы, демонстрирующие зависимость ритмики ЭЭГ от эмоций [34-36]. С другой стороны, в поведенческих лингвистических экспериментах показана ассоциация эмоциональной валентности слов и сенсорной модальности [37, 38]. По мнению авторов, это объясняется тем, что прилагательные, составляющие основную часть аффективного лексикона и описывающие различные ощущения, тесно связаны с опытом взаимодействия со средой.
В то же время на основании опыта обследования пациентов с различной степенью угнетения сознания, а также детей разного возраста с предъявлением им эмоционально-значимых стимулов в разных сенсорных модальностях мы пришли к следующим выводам [39, 40]: 1) при угнетении сознания сильные отрицательные эмоциональные стимулы воспринимаются больными лучше и, соответственно, имеют более выраженное отражение в ЭЭГ, чем нейтральные стимулы, которые часто не воспринимаются больными совсем; 2) предъявление стимулов через более древние органы чувств (осязание и обоняние) вызывает большую реакцию (и поведенческую, и в ЭЭГ); 3) стимулы, поступающие через более древние органы чувств, а также более аффективные, у детей вызывают реакцию в более раннем возрасте.
Мы задались вопросом: не отражаются ли в ритмах ЭЭГ упорядоченным, закономерным образом эмоции разного знака, ассоциированные с разными сенсорными модальностями? При ответе на вопрос мы применили метод построения психического пространства для
-> Новые О 0
Древние <— 4 * *
Неприятные -> Приятные
Тактильные Обонятельные Слуховые Зрительные
иф неприятные ^ неприятные Щ) неприятные приятные .^.приятные фприятные неприятные приятные
Рис. 9. Карта сенсорно-эмоционального пространства, усредненная по 20 испытуемым
Горизонтальная шкала пространства — знак эмоций; вертикальная — эволюционная древность органа чувств
анализа данных ЭЭГ, полученных в экспериментах с предъявлением эмоциональных стимулов разного знака в четырех сенсорных модальностях (см. рис. 3) [41].
Результат экспериментов представлен на рис. 9. Показана карта, усредненная по 20 испытуемым. На карте выявились две закономерности: 1) отрицательные стимулы располагаются левее, чем положительные; 2) стимулы, воспринимаемые через эволюционно более древние органы чувств, располагаются ниже.
таким образом оказалось возможным ввести на карте две шкалы: горизонтальную относительную шкалу знака эмоций и вертикальную шкалу эволюционной древности сенсорной модальности. Полученное пространство мы назвали сенсорно-эмоциональным.
таким образом, с помощью экспериментов с эмоционально-значимыми стимулами мы еще раз подтвердили, что пространство паттернов ритмов мозга изоморфно отражает психическое пространство человека, в данном случае — сенсорно-эмоциональное.
Изменения ритмических паттернов ЭЭГ при шизофрении. При психических заболеваниях нарушается мышление человека, особенно это заметно при шизофрении. Поскольку, как мы показали, мышление непосредственно отражается в ритмических паттернах ЭЭГ, возникает вопрос: не проявляются ли ментальные нарушения, возникающие при шизофрении, в изменениях паттернов ритмов?
Для ответа на вопрос группа больных с диагнозом «шизофрения» была обследована с использованием метода распознавания ритмических паттернов ЭЭГ на искусственной нейронной сети [42-44]. Затем данные сравнивались с результатами, полученными у здоровых испытуемых.
Больным предъявлялись те же задания, что и здоровым испытуемым, но в упрощенном виде. Анаграммы были сокращены до четырех букв; в задачах на поиск дополнительной фигуры не требовалось проводить масштабирование фигур.
В результате исследования обнаружено, что при некоторых видах шизофрении ППР ментальных состояний достоверно снижается по сравнению с его значением у здоровых испытуемых. У больных с продуктивной формой шизофрении снижения качества распознавания ментальных состояний на искусственной нейросети не наблюдалось. Это были больные, которые перенесли единичный приступ болезни или имели редкие (один раз в несколько лет) острые кли-шеобразные приступы с выраженным аффективным компонентом. При этом межприступный период характеризовался качественной ремиссией: больные устраивались на работу, поддерживали социальные связи, были критичны к своему заболеванию и комплаентны в плане психиатрической помощи.
Снижение ППР наблюдалось у больных с негативной формой заболевания. Представителей этой группы отличали частые госпитализации, неполные ремиссии с наличием резидуальной симптоматики, уплощение аффекта, социальная дезадаптация.
Детальный анализ данных с применением дополнительных методов статистического анализа показал, что снижение ППР в этом случае связано с большей вариабельностью ЭЭГ-паттернов, характеризующих тот или иной тип мышления. В свою очередь повышение нестабильности паттернов ЭЭГ можно объяснить нарушением механизма салиентности: больные не сосредоточены на заданиях, их мышление неустойчиво, случайно, слабо нацелено на результат, отвлекается навязчивыми идеями и парадоксальными ассоциациями.
Деформация сенсорно-эмоционального пространства при угнетении сознания. Как было сказано выше, при предъявлении здоровым испытуемым эмоционально-значимых стимулов в разных сенсорных модальностях можно построить карту сенсорно-эмоционального пространства, отражающую как сенсорный аспект восприятия, так и эмоциональную валентность стимулов. Однако при угнетении сознания (например, у больных с тяжелой травмой мозга) эта карта видоизменяется и начинает отражать только физические параметры стимуляции, но не эмоционально-содержательную часть стимулов [45].
Когнитивный ИМК. В исследовании [28] применяли методику, направленную на повышение устойчивости выполнения когнитивной деятельности определенного рода и ускорение обучения испытуемых, которые были разбиты на две группы: контрольную и экспериментальную. В контрольной группе люди участвовали в трех одинаковых опытах (с интервалом в несколько дней между ними), в каждом из которых решали задания, примеры которых показаны на рис. 2.
В экспериментальной группе второй опыт был с обратной связью: при установлении в ЭЭГ эталонных ритмических паттернов, характерных для данного вида деятельности, испытуемому давалась подсказка (например, фигурки в пространственной задаче поворачивались так, чтобы задачу было легче решить). Эталонные паттерны были получены в первом опыте. В третьем опыте в обеих группах оценивались поведенческие параметры когнитивной деятельности (время решения и правильность), а также давалась оценка нейронной эффективности в соответствии с идеей австрийской школы В. Климеша [46].
В результате экспериментов было обнаружено, что обратная связь по паттернам ритмов ЭЭГ облегчает обучение решению анаграмм. В экспериментальной группе время решения анаграмм статистически значимо сократилось
на 30%, в то время как в контрольной группе достоверного изменения времени решения не произошло. Для пространственных задач поведенческий эффект не был обнаружен. Увеличение нейронной эффективности зафиксировано для обоих видов задач только в экспериментальной группе.
таким образом, была продемонстрирована принципиальная возможная эффективность когнитивного ИМК.
Когновизор. Работа когновизора [29] состоит из двух этапов: предварительного и основного. На предварительном этапе записанная ранее ЭЭГ конкретного человека используется для построения когнитивного пространства и вычисления классифицирующих весов «Перцептрона». Во время основного этапа происходит собственно работа когновизора, т.е. отслеживание текущего ментального состояния в реальном масштабе времени и отображение его в виде «рабочей точки сознания» на карте индивидуального когнитивного пространства.
На рис. 10 схематично показана работа когновизора в эксперименте с 8 типами поочередно предъявляемых заданий. При реальной работе устройства в анимированной картинке отображается движущаяся по экрану «рабочая точка сознания». На приведенном рисунке рабочая точка обозначена крестиком в четырех последовательных положениях — при решении разных типов задач.
В эксперименте мы наблюдали интересный эффект. Часто рабочая точка подходит к правильному когнитивному состоянию (соответствующему решаемому заданию), но затем неожиданно на непродолжитель-
Пространственность4
•"1
Вербальность
"Я
♦ овпоср ♦ ме(***)олад
Лена выше Тани ^^ и ниже Риты, Рита ниже Тани? ♦ Саша старше Пети^ и младше Васи, Петя младше Васи?
Рис. 10. Схема работы когновизора:
кружки обозначают пространственные задания, ромбы — вербальные; размер значков отражает степень пространственности или вербальности; внизу приведены задания, соответствующие значкам на панели когновизора
ное время возвращается к предыдущему заданию, а затем снова «приплывает» к текущему. Это соответствует самоотчету испытуемых, которые рассказывают, что иногда возвращаются к предыдущему заданию, чтобы дорешать его до конца, если не успели или не уверены в правильности ответа. таким образом, даже простой макет устройства позволяет увидеть скрытую особенность мышления.
Обсуждение
Ритмы мозга — субстрат сознания. Все изложенные результаты, на наш взгляд, являются проявлением одного феномена, а именно: ритмы мозга не просто принимают участие в психической деятельности, но составляют ее основу, являются субстратом сознания. Вследствие этого возникающие в процессе психической деятельности ритмические паттерны ЭЭГ обладают уникальными свойствами: устойчивостью (вероятно, пожизненной), специфичностью, высокой индивидуальностью. Более того, ритмические паттерны не просто различны между собой при разных ментальных состояниях, они упорядоченно соотносятся друг с другом, образуя пространство, изоморфное пространству психики человека.
Роль паттернов. Психика человека представляет собой сложное явление — многокомпонентное и многофакторное. Любая мысль или чувство образуются взаимодействием множества нейронных процессов. Поэтому такие вещи, как когнитивные задания определенных видов или определенные эмоции, порождают сложные паттерны активации мозга. Для идентификации любого сложного психического процесса невозможно воспользоваться единственным дискриминирующим параметром сигнала мозга [4, 5].
Несмотря на сложность и композитность паттерна, он сам является устойчивой единицей. Психика человека, при всей ее сложности, есть хорошо упорядоченное явление, функционирует по четким законам и имеет определенную структуру. Поэтому ментальное состояние (когнитивное или эмоциональное) здорового человека — это высокоорганизованная, устойчивая, привычная для него, выработанная в процессе эволюции и в онтогенезе совокупность процессов. Эта совокупность имеет свое отражение в паттерне сигналов мозга. При заболеваниях мозга и психики эта хорошо организованная структура может нарушаться, что можно увидеть в нарушении целостности паттернов сигналов мозга, снижении их устойчивости, разрушении связей между ними.
Сравнение с другими работами по чтению мозга. В большинстве процитированных во «Введении» работ показано распознавание процессов восприятия различных категорий объектов. Мы распознаем сложные когнитивные и эмоциональные процессы. Главная особенность наших работ состоит в том, что мы понимаем все полученные результаты как единый феномен. Кроме того, исторически некоторые наши
работы были выполнены раньше, чем все процитированные во «Введении».
Возможное практическое применение методик. Когновизор и когнитивный ИМК при их дальнейшем развитии могут быть применены в обучении, профессиональном отборе, диагностике психических расстройств, а также, как мы считаем, в реабилитации после перенесенных заболеваний мозга. Построение карт психических пространств может стать важным фактором для диагностики глубины угнетения сознания и для прогноза течения заболеваний, а также для индивидуального мониторинга созревания психики детей с отклонениями в развитии.
Проблемы, требующие решения. Двумя главнейшими вопросами, которые касаются описанных в статье подходов и требуют дальнейшего решения, остаются следующие: 1) в чем причина чрезвычайно высокой индивидуальной вариабельности когнитивных и эмоциональных паттернов ритмов мозга? 2) какие реальные нейрофизиологические механизмы порождают наблюдаемые ритмы?
Для получения ответа на первый вопрос можно предположить несколько возможностей.
1. Причина кроется в вариабельности анатомии черепа и структур мозга. Нам эта гипотеза кажется наименее правдоподобной. Морфологические различия могли бы привести к количественной разнице в индивидуальных паттернах, но не к совершенно разному их виду, что мы реально наблюдаем.
2. Причина кроется в различии когнитивных стилей. Эта гипотеза нам кажется более правдоподобной. Тем не менее простые задания должны были бы выполняться большинством людей одинаковым или схожим способом. Различие когнитивных стилей может, на наш взгляд, вносить вклад в вариабельность индивидуальных ритмических паттернов ЭЭГ, но не может объяснить наблюдаемую огромную их разницу.
3. Ментальные процедуры, выполняемые испытуемыми при решении заданий, схожи между собой, но эти процедуры поддерживаются разными ритмическими процессами. Иными словами, ритмы, обеспечивающие выполнение одних и тех же психических функций, могут быть (по непонятной нам пока причине) у разных людей разными. Эти ритмические механизмы формируются в процессе индивидуального интеллектуального и эмоционального развития, но, сформировавшись, остаются на долгие годы неизменными.
Следует отметить, что паттерны активации мозга, полученные в фМРТ-экспериментах, показывают значительно меньшую межиндивидуальную вариабельность, и ее объяснение укладывается в сделанные выше предположения 1 и 2.
При поиске ответа на второй вопрос по поводу некоторых наблюдаемых процессов мы смогли сделать предположения и проверить их. Так, центральный ритм на частоте около 11 Гц, часто возникающий при выполнении пространственных заданий, можно интерпретировать как мю-ритм подавления движения,
потребность в котором непроизвольно возникает при пространственном воображении. Мы проверили эту гипотезу в специально поставленной серии экспериментов [47]. В них каждому испытуемому в одном опыте предлагались два разных задания: 1) решить пространственную задачу; 2) выполнить или подавить движение рукой, показанное на экране (Go-Nogo-парадигма). У большинства лиц и при пространственном мышлении, и при подавлении движения появлялся означенный 11-герцевый ритм. У каждого испытуемого этот ритм был выделен методом ICA, а затем найден его дипольный источник. Положение диполя совпало в двух экспериментальных условиях, что подтвердило изначальную гипотезу.
Фронтальный тета-ритм, видимый на спектрах многих испытуемых (см., например, рис. 6) при выполнении зрительно предъявленных когнитивных заданий, можно отнести на счет ориентировочного рефлекса, целенаправленного внимания к стимулу или активации краткосрочной памяти [48, 49].
Для часто встречающегося при выполнении вербальных и логических заданий центрального (обычно правого) ритма частотой ~8 Гц у нас нет однозначного объяснения. Спекуляции на эту тему рассмотрены в работе [23].
Так или иначе, в конкретных индивидуальных случаях часть хорошо видимых устойчивых ритмов мы никак не можем объяснить.
Заключение
Проведенный анализ результатов проделанной нами работы дает возможность сформулировать следующие положения.
1. В процессе мыслительной деятельности в ЭЭГ человека устанавливаются характерные паттерны ритмов, однозначно сопоставимые с характером выполняемых когнитивных операций. Наблюдаемые паттерны ритмов индивидуальны и сохраняются во времени. Они образует устойчивый электроэнцефалографический «портрет» личности.
2. Паттерны ритмов находятся друг с другом в определенных отношениях, которые становятся видны после введения метрики на их пространстве. В результате оказывается возможным на основе анализа ритмов построить ЭЭГ-карту когнитивного пространства человека.
3. Аналогичную карту можно построить и для сенсорно-эмоционального пространства.
4. Когнитивные паттерны ритмов мозга становятся неустойчивыми при некоторых психических расстройствах, прежде всего при негативных формах шизофрении.
5. ЭЭГ-карты эмоционального пространства человека разрушаются при угнетении сознания и начинают отражать физические свойства стимулов вместо их эмоционального содержания.
Сформулированные положения могут быть поло-
жены в основу разработки прикладных методик, примерами которых являются разработанные нами когнитивный ИМК, ускоряющий обучение некоторым видам деятельности, и прибор визуализации текущего когнитивного состояния человека — когновизор.
Благодарности. В представленной работе принимал участие коллектив исследователей в составе: физиков М.С. Атанова, И.В. Таротина, РА. Наумова, психофизиолога А.О. Роик, врача-невролога и нейро-психолога Г В. Портновой, врача-психиатра М.Е. Бак-лушева, инженера-программиста О.Д. Кашеваровой. Автор статьи выражает им глубокую признательность.
Финансирование исследования. Работа была частично поддержана грантами Российского фонда фундаментальных исследований №15-04-04449 А, №19013-00925 А, а также программой Президиума РАН 1.26П.
Конфликт интересов. Авторы подтверждают отсутствие конфликтов интересов, о которых необходимо сообщить.
Литература/References
1. Kamitani Y., Tong F. Decoding the visual and subjective contents of the human brain. Nat Neurosci 2005; 8(5): 679685, https://doi.org/10.1038/nn1444.
2. Иваницкий Г.А. Распознавание типа решаемой в уме задачи по нескольким секундам ЭЭГ с помощью обучаемого классификатора. Журнал высшей нервной деятельности им. И.П. Павлова 1997; 47(4): 743-747. Ivanitsky G.A. Recognition of the task type in the process of its mental solving by a few-second EEG record using the learned classifier. Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 1997; 47(4): 743-747.
3. Иваницкий ГА., Николаев А.Р, Иваницкий А.М. Использование искусственных нейросетей для распознавания типа мыслительных операций по ЭЭГ Авиакосмическая и экологическая медицина 1997; 31(6): 23-28. Ivanitsky G.A., Nikolaev A.R., Ivanitsky A.M. The use of artificial neural networks for recognition of types of thinking by EEG. Aviakosmicheskaya i ekologicheskaya meditsina 1997; 31(6): 23-28.
4. Haxby J.V., Gobbini M.I., Furey M.L., Ishai A., Schouten J.L., Pietrini P. Distributed and overlapping representations of faces and objects in ventral temporal cortex. Science 2001; 293(5539): 2425-2430, https://doi.org/10.1126/ science.1063736.
5. Pietrini P., Furey M.L., Ricciardi E., Gobbini M.I., Wu W.H., Cohen L., Guazzelli M., Haxby J.V. Beyond sensory images: object-based representation in the human ventral pathway. Proc Natl Acad Sci U S A 2004; 101(15): 5658-5663, https://doi.org/10.1073/pnas.0400707101.
6. Shinkareva S.V., Mason R.A., Malave V.L., Wang W., Mitchell T.M., Just M.A. Using fMRI brain activation to identify cognitive states associated with perception of tools and dwellings. PLoS One 2008; 3(1): e1394, https://doi. org/10.1371/journal.pone.0001394.
7. Nishimoto S., Vu A.T., Naselaris T., Benjamini Y., Yu B., Gallant J.L. Reconstructing visual experiences from brain activity evoked by natural movies. Curr Biol 2011; 21(19): 1641-1646, https://doi.org/10.1016/j.cub.2011.08.031.
чшшшшт^тчтчшшшшш^тчтчтчшт
Паттерны ритмов мозга как отражение психических процессов СТМ | 2019 | том 11 | №1 129
8. Mitchell T.M., Hutchinson R., Niculescu R.S., Pereira F., Wang X., Just M., Newman S. Learning to decode cognitive states from brain images. Machine Learning 2004; 57(1/2): 145— 175, https://doi.org/10.1023/b:mach.0000035475.85309.1b.
9. Mitchell T.M., Shinkareva S.V., Carlson A., Chang K.M., Malave V.L., Mason R.A., Just M.A. Predicting human brain activity associated with the meanings of nouns. Science 2008; 320(5880): 1191-1195, https://doi.org/10.1126/science.1152876.
10. Wolpaw J.R., McFarland D.J., Vaughan T.M. Brain-computer interface research at the Wadsworth Center. IEEE Trans Rehabil Eng 2000; 8(2): 222-226, https://doi. org/10.1109/86.847823.
11. Peters B.O., Pfurtscheller G., Flyvbjerg H. Automatic differentiation of multichannel EEG signals. IEEE Trans Biomed Eng 2001; 48(1): 111-116, https://doi.org/10.1109/10.900270.
12. Bobrov P., Frolov A., Cantor C., Fedulova I., Bakhnyan M., Zhavoronkov A. Brain-computer interface based on generation of visual images. PLoS One 2011; 6(6): e20674, https://doi.org/10.1371/journal.pone.0020674.
13. Бобров П.Д., Коршаков А.В., Рощин В.Ю., Фролов А.А. Байесовский подход к реализации интерфейса мозг-компьютер, основанного на представлении движений. Журнал высшей нервной деятельности им. И.П. Павлова 2012; 62(1): 89-99. Bobrov P.D., Korshakov A.V., Roschin V.Yu., Frolov A.A. Bayesian classifier for brain-computer interface based on mental representation of movements. Zhurnal vysshei nervnoi deyatelnosti imeni IP. Pavlova 2012; 62(1): 89-99.
14. Del R. Millan J., Mourino J., Franze M., Cincotti F., Varsta M., Heikkonen J., Babiloni F. A local neural classifier for the recognition of EEG patterns associated with mental tasks. IEEE Trans Neural Netw 2002; 13(3): 678-686, https://doi. org/10.1109/tnn.2002.1000132.
15. Wang Q., Sourina O. Real-time mental arithmetic task recognition from EEG signals. IEEE Trans Neural Syst Rehabil Eng 2013; 21(2): 225-232, https://doi.org/10.1109/ tnsre.2012.2236576.
16. Бардин К.В. Проблема порогов чувствительности и психофизические методы. М: Наука; 1976. Bardin K.V. Problema porogov chuvstvitel'nosti i psikhofizicheskie metody [The problem of sensitivity thresholds and psychophysical methods]. Moscow: Nauka; 1976.
17. Измайлов Ч.А. Сферическая модель цветораз-личения. М: Изд-во МГУ, 1980. Izmaylov Ch.A. Sfericheskaya model' tsvetorazlicheniya [Spherical model of color discrimination]. Moscow: Izd-vo MGU, 1980.
18. Измайлов Ч.А., Соколов Е.Н., Черноризов А.М. Психофизиология цветового зрения. М: Изд-во МГУ 1989. Izmaylov Ch.A., Sokolov E.N., Chernorizov A.M. Psikhofiziologiya tsvetovogo zreniya [Psychophysiology of color vision]. Moscow: Izd-vo MGU, 1989.
19. Забродин Ю.М., Лебедев А.Н. Психофизиология и психофизика. М: Наука, 1977. Zabrodin Yu.M., Lebedev A.N. Psikhofiziologiya i psikhofizika [Psychophysiology and psychophysics]. Moscow: Nauka, 1977.
20. Lomov B.F., Ivanitskii A.M. Connection between psychology and physiology in the investigation of perception. Human Physiology 1977; 3(6): 753-760.
21. Терехина А.Ю. Многомерное шкалирование в психологии. Психологический журнал 1983; 4(1): 77-88. Terekhina A.Yu. Multidimensional scaling in psychology. Psikhologicheskiy zhurnal 1983; 4(1): 77-88.
22. Huth A.G., Nishimoto S., Vu A.T., Gallant J.L. A continuous semantic space describes the representation
of thousands of object and action categories across the human brain. Neuron 2012; 76(6): 1210-1224, https://doi. org/10.1016/j.neuron.2012.10.014.
23. Иваницкий Г.А. Распознавание типа решаемой задачи по нескольким секундам ЭЭГ с помощью обучаемого классификатора. Дис. ... докт. биол. наук. М; 2007. Ivanitskiy G.A. Raspoznavanie tipa reshaemoy zadachi po neskol'kim sekundam EEG s pomoshch'yu obuchaemogo klassifikatora. Dis. ... dokt. biol. nauk [Recognizing the type of the task being solved by several seconds of EEG using a taught classifier. DSc Dissertation]. Moscow; 2007.
24. Rumelhart D.E., McClelland J.L., and the PDP Research Group. Parallel distributed processing. Cambridge, Mass.: MIT Press; 1986.
25. Роик А.О., Иваницкий Г.А. Нейрофизиологическая модель когнитивного пространства. Журнал высшей нервной деятельности им. И.П. Павлова 2011; 61(6): 688696. Roik A.O., Ivanitsky G.A. Neurophysiological model of cognitive space. Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 2011; 61(6): 688-696.
26. Роик А.О., Иваницкий Г.А., Иваницкий А.М. Когнитивное пространство человека: совпадение моделей, построенных на основе анализа ритмов мозга и на психометрических измерениях. Российский физиологический журнал им. И.М. Сеченова 2012; 98(11): 1314-1328. Roik A.O., Ivanitsky G.A., Ivanitsky A.M. Human cognitive space: coincidence of the models, built on base of EEG rhythms and psychometric measurements. Rossiiskii fiziologicheskii zhurnal imeni I.M. Sechenova 2012; 98(11): 1314-1328.
27. Sammon J.W. A nonlinear mapping for data structure analysis. IEEE Trans Comput 1969; C-18(5): 401-409, https:// doi.org/10.1109/t-c.1969.222678.
28. Atanov M.S., Ivanitsky G.A., Ivanitsky A.M. Cognitive brain-computer interface and probable aspects of its practical application. Human Physiology 2016; 42(3): 235-240, https:// doi.org/10.1134/s0362119716030038.
29. Таротин И.В., Атанов М.С., Иваницкий ГА. Макет устройства слежения за когнитивной деятельностью человека в реальном времени ("когновизор"). Журнал высшей нервной деятельности им. И.П. Павлова 2017; 67(4): 493-503. Tarotin I.V., Atanov M.S., Ivanitsky G.A. A model for human cognitive activity monitoring in real time ("cognovisor"). Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 2017; 67(4): 493-503, https://doi.org/10.7868/ s0044467717040116.
30. Николаев А.Р., Иваницкий Г.А., Иваницкий А.М. Воспроизводящиеся паттерны альфа-ритма ЭЭГ при решении психологических задач. Физиология человека 1998; 24(3): 1-8. Nikolaev A.R., Ivanitskiy G.A., Ivanitskiy A^. Reproducible patterns of EEG alpha-rhythm in solving psychological tasks. Fiziologiia cheloveka 1998; 24(3): 1-8.
31. Иваницкий Г.А., Наумов Р.А., Иваницкий А.М. Технология определения типа совершаемой в уме мысленной операции по рисунку электроэнцефалограммы. Технологии живых систем 2007; 4(5-6): 20-29. Ivanitsky G.A., Naumov R.A., Ivanitsky A.M. The technology for the recognition of the mental thinking operations type using EEG patterns. Tekhnologii zhivykh sistem 2007; 4(5-6): 20-29.
32. Атанов М.С., Иваницкий Г.А. Оптимизация алгоритма распознавания типа текущей мыслительной деятельности на основе данных ЭЭГ В кн.: XVII Всероссийская научно-техническая конференция «Нейро-информатика-2015». Часть 1. М: НИЯУ МИФИ; 2015;
с. 88-96. Atanov M.S., Ivanitsky G.A. Optimizatsiya algoritma raspoznavaniya tipa tekushchey myslitel'noy deyatel'nosti na osnove dannykh EEG. V kn.: XVII Vserossiyskaya nauchno-tekhnicheskaya konferentsiya "Neyroinformatika-2015". Chast' 1 [Optimization of current type of cognitive activity recognition based on EEG data. In: XVII All-Russian scientific and technical conference "Neuroinformatics-2015". Part 1]. Moscow: NIYaU MIFI; 2015; p. 88-96.
33. Роик А.О. Кодирование особенностей когнитивной деятельности в ритмическом рисунке ЭЭГ. Автореф. дис. ... канд. биол. наук. М; 2012. Roik A.O. Kodirovanie osobennostey kognitivnoy deyatel'nosti v ritmicheskom risunke EEG. Avtoref. dis. ... kand. biol. nauk [Encoding of cognitive activity specifics in the EEG rhythmic pattern. PhD Thesis]. Moscow; 2012.
34. Ильюченок И.Р. Различие частотных характеристик ЭЭГ при восприятии положительно-эмоциональных, отрицательно-эмоциональных и нейтральных слов. Журнал высшей нервной деятельности им. И.П. Павлова 1996; 46(3): 457-468. Ilyuchenok I.R. EEG frequency differences during perception of positive, negative, and neutral words. Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 1996; 46(3): 457-468.
35. Ильюченок И.Р., Савостьянов А.Н., Валеев Р.Г. Динамика спектральных характеристик тета- и альфа-диапазонов ЭЭГ при негативной эмоциональной реакции. Журнал высшей нервной деятельности им. И.П. Павлова 2001; 51(5): 563-571. Ilyutchenok I.R., Savostyanov A.N., Valeev R.G. EEG spectral dynamics in the theta and alpha bands during a negative emotional reaction. Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 2001; 51(5): 563-571.
36. Костюнина М.Б. Энцефалограмма человека при мысленном воспроизведении эмоционально-окрашенных событий. Журнал высшей нервной деятельности им. И.П. Павлова 1998; 48(2): 213-221. Kostyunina M.B. Human EEG during mental reproduction of emotionally significant events. Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 1998; 48(2): 213-221.
37. Колбенева М.Г., Александров Ю.И. Органы чувств, эмоции и прилагательные русского языка. В кн.: Лингво-психологический словарь. Языки славянских культур. М; 2010. Kolbeneva M.G., Aleksandrov Yu.I. Organy chuvstv, emotsii i prilagatel'nye russkogo yazyka. V kn.: Lingvo-psikhologicheskiy slovar'. Yazyki slavyanskikh kul'tur [The sense organs, emotions and adjectives of the Russian language. In: Lingvo-psychological dictionary. Languages of Slavic cultures]. Moscow; 2010.
38. Kolbeneva M.G., Alexandrov Y.I. Mental reactivation and pleasantness judgment of experience related to vision, hearing, skin sensations, taste and olfaction. PLoS One 2016; 11(7): e0159036, https://doi.org/10.1371/journal.pone.0159036.
39. Портнова Г.В., Иваницкий Г.А., Шарова Е.В., Ива-ницкий А.М. Исследование ритмов мозга при действии эмоционально значимых стимулов у здоровых взрослых, детей и больных в коме. Технологии живых систем 2012; 9(5): 3-13. Portnova G.V., Ivanitsky G.A., Sharova E.V., Ivanitsky A.M. The re-arrangement of brain rhythms in response to emotionally significant stimuli in healthy adults, children and patients in coma. Tekhnologii zhivykh sistem 2012; 9(5): 3-13.
40. Портнова Г.В., Гладун К.В., Шарова Е.В., Иваницкий А.М. Реакция мозга на действие эмоционально значимых стимулов у больных с черепно-мозговой травмой
при угнетении и восстановлении сознания. Журнал высшей нервной деятельности им. И.П. Павлова 2013; 63(6): 753. Portnova G.V., Gladun K.V., Sharova E.V., Ivanitsky A.M. Changes of EEG power spectrum in response to the emotional auditory stimuli in patients in acute and recovery stages of TBI (traumatic brain injury). Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 2013; 63(6): 753, https://doi.org/10.7868/ s0044467713060142.
41. Portnova G., Stebakova D., Ivanitsky G. The EEG-based emotion classification in tactile, olfactory, acoustic and visual modalities. In: Proceedings of the 2nd International conference on computer-human interaction research and applications. Vol. 1: CHIRA. SCITEPRESS — Science and Technology Publications; 2018; p. 93-99, https://doi.org/ 10.5220/0006892100930099.
42. Баклушев М.Е., Иваницкий Г.А., Атанов М.С., Иваницкий А.М. Снижение устойчивости паттернов, соответствующих разным типам мышления, при шизофрении. Журнал высшей нервной деятельности им. И.П. Павлова 2016; 66(5): 579-589. Baklushev M.E., Ivanitsky G.A., Atanov M.S., Ivanitsky A.M. High variability of rhythmic EEG patterns, intrinsic for different type of thinking in schizophrenia patients. Zhurnal vysshei nervnoi deyatelnosti imeni I.P. Pavlova 2016; 66(5): 579-58, https://doi.org/10.7868/ s0044467716050038.
43. Баклушев М.Е. Нестабильность ритмических характеристик ЭЭГ при мышлении у больных шизофренией. Дис. ... канд. мед. наук. М; 2018. Baklushev M.E. Nestabil'nost' ritmicheskikh kharakteristik EEG pri myshlenii u bol'nykh shizofreniey. Dis. ... kand. med. nauk [Instability of EEG rhythmic characteristics during thinking in patients with schizophrenia. PhD Dissertation]. Moscow; 2018.
44. Баклушев М.Е., Иваницкий Г.А., Иваницкий А.М. Нарушение оценки значимости информации при шизофрении. Успехи физиологических наук 2016; 47(1): 34-47. Baklushev M.E., Ivanitsky G.A., Ivanitsky A.M. Violation of assessing the salience of information in schizophrenia. Uspekhi fiziologicheskikh nauk 2016; 47(1): 34-47.
45. Portnova G.V., Atanov M.S. EEG of patients in coma after traumatic brain injury reflects physical parameters of auditory stimulation but not its emotional content. Brain Injury 2018; 33(3): 370-376, https://doi.org/10.1080/02699052.2018. 1553310.
46. Fink A., Grabner R.H., Neuper C., Neubauer EEG alpha band dissociation with increasing Brain Res Cogn Brain Res 2005; 24(2): 252-259, http org/10.1016/j.cogbrainres.2005.02.002
47. Таротин И.В., Иваницкий Г. ные с движением и пространст логичны ли они? Журнал в1 им. И.П. Павлова 201 Ivanitsky G.A. Central EEG rhythm as and EEG rhythm associated with s homologous? Zhurnal vysshei nervn I.P. Pavlova 20
48. Lega B.C., Jacob theta Hi
и V., ent they imeni
., Kah
//doi
ippocampal ic memories. org/10.1002/
man hippocam ocampus 2005;
Shattuck K., Fried I., heta activity during virtual 15(7): 881-889, https://doi.
