CC BY
191
X УПРАВЛЕНИЕ в МЕДИЦИНЕ И БИОЛОГИИ
УДК 612.82; 519.6
заектрофизиоаогические корреляты умственной деятельности человека. вейвлет-анализ
Н. Б. Суворов,
доктор биол. наук, профессор
НИИ экспериментальной медицины СЗО РАМН, г. Санкт-Петербург
С. В. Божокин,
канд. физ.-мат. наук, доцент
Санкт-Петербургский политехнический университет
Ю. З. Полонский,
доктор биол. наук, ведущий научный сотрудник Институт мозга человека им. Н. П. Бехтеревой РАН, г. Санкт-Петербург
В разработанной ранее биотехнической системе изучались пространственно-временные отношения между различными отделами коры головного мозга шахматистов высших квалификаций, играющих в шахматы с компьютерной программой. Для расчета спектральных интегралов электроэнцефалограмм применено интегральное вейвлет-преобразование. Путем расчета матриц кросскорреляций по Пирсону определены корреляционные отношения между спектральными интегралами электроэнцефалограмм различных отведений головного мозга. Пространственные отношения рассмотрены в динамике обдумывания хода в партии.
Ключевые слова — электроэнцефалограмма, игра в шахматы, вейвлет-анализ, спектральный интеграл, биотехническая система.
Введение
Интеллектуальная деятельность человека является одной из его специфических особенностей и наиболее сложно организованных психических функций и потому чрезвычайно сложна для инструментальных исследований. Не существует общепринятых взглядов на то, каким образом головной мозг и центральная нервная система обеспечивают процесс мышления и принятия решений. Как правило, в динамике изучаются элект-рофизиологические корреляты в условиях моделирования умственной нагрузки. При этом важно подобрать как адекватные модели интеллектуальной деятельности, так и соответствующие психофизиологические показатели. Очевидно, что такие модели не могут охватить все сферы мыслительной деятельности человека.
Известно, что умственные нагрузки вызывают серьезные изменения в электроэнцефалограмме (ЭЭГ) в диапазоне альфа-ритма вплоть до его десинхронизации. Многочисленные исследования в этом направлении показали динамику амплитудно-частотных параметров ЭЭГ во всех ритмических диапазонах [1, 2]. Отмечено усиление дельта-
и тета-активности в передних отделах, в основном, левого полушария коры головного мозга. При выполнении когнитивных задач усиление тета-ритма, называемого также ритмом напряжения, положительно соотносится с успешностью их решения. Перестройки в диапазоне бета-активности не столь однозначны, и связано это с типом когнитивной нагрузки, задаваемой моделью.
Феномен кратковременных периодов корреляции и стабилизации пространственно-временных характеристик биопотенциалов мозга во время определенных этапов когнитивной деятельности был впервые показан в работах М. Н. Ливанова и соавт. [3]. Пространственная консолидация ЭЭГ была обнаружена в виде ее когерентных структур [4, 5], или комплексов, совпадающих по основным пикам спектральных паттернов в разных областях коры головного мозга [6]. Такие процессы как память, внимание, когнитивные или познавательные операции если и проявляются на уровне ЭЭГ, то в сильно завуалированном виде — на грани порога статистической значимости [7]. Смена таких операций при последовательном способе обработки информации может сопровождаться в ЭЭГ каскадом кратковременных переходных
процессов с последующей временной стабилизацией новых устойчивых состояний, сопровождающейся увеличением числа статистически значимых корреляционных связей между лобноцентральными отделами левого полушария. Было показано, что определенным когнитивным актам соответствуют достаточно стабильные пространственные структуры ЭЭГ в виде эффектов синхронизации/десинхронизации. В исследованиях, где параллельно с ЭЭГ рассматривалась магнитоэнцефалограмма, обнаружено существование синхронных колебаний в тета- и гамма-полосах спектра, которые меняются во время моделирования когнитивных задач. Наиболее распространенные спектры мощности являются статической оценкой свойств ЭЭГ, полученной на ограниченном промежутке времени; они не в состоянии оценить динамику пространственно-временных изменений сигналов ЭЭГ при различных видах деятельности.
Практически все результаты исследований интеллектуальной деятельности были получены в условиях моделирования различных творческих и математических заданий. В то же время игра в шахматы является идеальным способом для изучения творческого процесса [8, 9], когда профессиональный шахматист находится в условиях реального (не имеющего аналогов) интеллектуального стресса, а не его моделирования. Для анализа динамических спектральных характеристик разработан модифицированный соответствующим образом вейвлет-анализ пространственной ЭЭГ. Целью данной статьи является исследование динамических спектральных характеристик нестационарной ЭЭГ во время шахматной партии и нахождение пространственно-временных корреляций различных ее каналов, вычисленных с помощью спектральных интегралов.
Методика
Шахматная игра с современной компьютерной программой сопровождается реальной напряженной интеллектуальной деятельностью. Инструментальных исследований в изложенной постановке ранее не проводилось, поэтому разработанный для указанной цели аппаратно-программный комплекс является в своем роде уникальным [9]. В исследованиях участвовали молодые шахматисты высокой квалификации г. Санкт-Петербурга — гроссмейстеры и мастера спорта с высоким рейтингом Эло (коэффициент Эло > 2300). Высокий профессионализм участников позволил проводить шахматные партии вслепую с закрытыми глазами, что дало возможность минимизировать помехи при регистрации электро-
энцефалограммы (21 канал по системе 10-20 %), электрокардиограммы (ЭКГ с предплечий), кар-диоритмограммы [9]. Помимо этого фиксировались функция дыхания (пневмограмма) и голосá шахматиста, сообщающего свой ход, и «транслятора», сообщающего ход, сделанный шахматной программой (использовались штатный датчик дыхания и специальные микрофоны фирмы Panasonic).
Компьютерная шахматная программа должна быть адекватна мастерству участвующих шахматистов или превосходить их. Для синхронизации и сопоставления шахматной партии с психофизиологическими характеристиками в каждый момент времени необходимо иметь полный протокол партии, из которого известно, сколько времени прошло от начала партии до конкретного хода. Перечисленным условиям удовлетворяет программа Deep Fritz 11 4CPU [10]. В ней предусмотрена гибкая система задания контроля времени, широкий диапазон по рейтингу, поэтому шахматную квалификацию программы можно варьировать [9]. Некоторая коррекция возможна также путем изменения контроля времени в ту или иную сторону. Структурная схема биотехнической системы для исследования электрофизиологиче-ских параметров человека во время реальной умственной деятельности представлена на рис. 1.
На мониторе главного компьютера отображались ЭКГ, пневмограмма, речевые сигналы от микрофонов «транслятора» и испытуемого синхронно с остальными параметрами. Шахматная партия разыгрывалась на специальном шахматном компьютере.
Блок регистрации информации Главный компьютер
ЭЭГ
ЭКГ
Датчик
дыхания
Микрофон для «транслятора»
Микрофон для испытуемого
Фотостимулятор
Испытуемый
Блок обработки информации Главный компьютер
Блок синхронизации
Обработка видео Обработка ЭКГ
Обработка аудиосиг- налов Обработка ЭЭГ
Обработка дыхания Фотости- муляция
Блок памяти
Шахматный
компьютер
«Транслятор» Видеокамера Принтер Монитор
Дополнительный
монитор
■ Рис. 1. Структура биотехнической системы
Позиция на доске фиксировалась видеокамерой и передавалась на главный компьютер в режиме «видео ЭЭГ». Видеоизображение шахматной доски с текущей позицией воспроизводилось синхронно с выводом на экран монитора соответствующих участков всех регистрируемых параметров испытуемого [9].
Каждое исследование состояло из нескольких этапов: настройки программы Deep Fritz 11 и визуализации шахматной партии; регистрации фоновых электрофизиологических показателей в расслабленном состоянии перед началом партии; регистрации показателей во время и после завершения партии; анализа шахматной партии и выявления наиболее важных моментов для сопоставления с соответствующими фрагментами комплекса психофизиологических параметров.
Для исследования нестационарной ЭЭГ испытуемых во время обдумывания ходов применена теория вейвлетов [11-17]. В работах [14, 15] приведено определение интегрального вейвлетного преобразования, обсуждается выбор материнского вейвлета (в данной работе использован вейвлет Морле), анализируется выражение для мгновенного спектрального распределения сигнала по частотам, обсуждаются соответствующие скелетоны, а также введено понятие спектральных интегралов. Для расчета корреляций различных каналов ЭЭГ в зависимости от времени шахматной партии t рассмотрим спектральные интегралы [14, 15]. Спектральный интеграл E,,(i, t) пропорционален вероятности того, что в момент времени t энергия сигнала сосредоточена в спектральном интервале [v._ 1, vJ. Иначе говоря, график E.(i, t) отражает динамику интенсивности частотного диапазона [v. _ 1, v.] во времени, измеряется в микровольтах в квадрате и представляет собой локальную плотность спектра сигнала, зависящую как от частоты v, так и от времени t, проинтегрированную по интервалу частот [v. _ 1, v.]. Величины v. (. = 0, 1, 2...) характеризуют границы соответствующего частотного интервала ., а индекс i характеризует номер канала ЭЭГ: i = {Fp1, ..., O2}. Спектральные интегралы E.(i, t) позволяют анализировать динамику развития по времени ЭЭГ-активности в спектральном диапазоне д для канала i. Полагая v0, v^ ..., v4 равными 0,5; 4; 7,5; 14; 30 Гц и нормируя каждый спектральный интеграл на свое максимальное значение, получаем значения спектральных интегралов e.(i, t), равные e5(i, t), ee(i, t), ea(i, t), eo(i, t) соответственно в дельта-, тета-, альфа- и бета-диапазонах ЭЭГ, причем величина e.(i, t) изменяется в пределах 0 < e.(i, t) < 1.
Коэффициент корреляции Пирсона <£|Д.|&> между i-м и k-м каналами ЭЭГ, вычисленный
в спектральном диапазоне м = 5, 9, а, р, определяется следующим образом [16]:
< АПу\к>=
= < е. (¿,*)е. (к,») >-< е. (I,») >< е т (к,») >
у!(<е2(1, ^ >-<е. (I, #) >2)(<ец (к, #) >-<е. (к,г)>2
В этом выражении символы <е.(г, *)> и <е. (¿, г) х е.(к, г)> означают усреднение соответствующих величин по промежутку времени наблюдения г, который составлял величину, равную примерно 10 с (эпоха анализа). Заметим, что величины спектральных интегралов положительны: е.О, г) > 0. Вычисляемые коэффициенты корреляции Пирсона <!|Дтк> изменяются в диапазоне |<£|Дм|к>| ^ 1. Если каналы I и к демонстрируют полностью скоррелированное поведение: ем(к, г) = е..(Ь, г), то
И- И-
в этом случае <£|Дм|к> = 1. Если величины е.О, г)
и е.(к, г) не зависят друг от друга, то в этом случае <!|Дм|к> = 0. Заметим, что в начале и в конце интервалов наблюдения (эпох анализа) спектральные интегралы равны нулю, что является свидетельством учета граничных эффектов при вычислении интегрального вейвлетного преобразования. Из-за положительности спектральных интегралов условие е.(к, г) = -е.О, 0, при котором величина <£|Д.|к> = -1, не выполняется, поэтому в большинстве случаев в матрицах кросскорреляции <!|Дм|к> > 0.
Количество эпох анализа зависело от длительности обдумывания очередного хода. Коэффициенты корреляции Пирсона отражают динамику пространственной координации различных отделов мозга в диапазонах основных ритмов ЭЭГ в процессе решения испытуемым проблем, возникающих на шахматной доске.
Таким образом, решалась задача определения пространственной организации ЭЭГ во всех спектральных диапазонах для всех каналов в динамике, что дает принципиально новую информацию о поведении нестационарной ЭЭГ человека во время игры в шахматы с компьютерной программой.
Результаты исследований
Рассмотрим результаты на примере партии одного из испытуемых (гроссмейстера В.). Перед началом шахматной партии в состоянии расслабленного бодрствования с закрытыми глазами различия в графиках нормированных спектральных интегралов в альфа-диапазоне, соответствующих отведениям еа^р2, г) и еа(С4, г), очевидны (рис. 2).
Коэффициент корреляции для этих кривых составляет 0,173 и указывает на отсутствие ско-
еа(^р2, і), еа(С4, і)
4, с
■ Рис. 2. Cпектрaльные интегралы ЭЭГ, вычисленные в диапазоне альфа-ритма в отведениях Fp2 ea(Fp2, ^ (тонкая линия 1) и C4 6,^4, ^ (толстая линия 2) в зависимости от времени (80 отсчетов/с)
ва(ЕР2, і), еа(С4, і)
і, с
■ Рис. 3. Спектральные интегралы в конце обдумывания и принятия решения гроссмейстером В. относительно 17-го хода (см. рис. 4Г)
Дельта Тета Альфа Бета
А / м '*** / П \ / п й М \ [ 13 с* С» 0» Т* 1 \ 75 п н Н и / \ оі <*оз У / ДО ДО V /II ^ » \ / чо н г* \ ( л а\л а т< І \ в м те У \ 01 *02 / / И И \ / Г п н п \ [ ТЇ сэ Л С4 74 1 \ «в^% У \ о: о*« / / грі Ті» гра 'ч / " га \ / / П й Г4 \ ТЗ а С* С4 Т4 V и » * * 76 / \ 01 01 И /
Б л а а И и V « » * N / У \ 01 С*-<» У / П5-ДО-»*1 \ У N . . » \ (■£М \ О: о,« / У в те У \ 0! о,« / У 7р1 \ у п я \ / ГЗ Рі Р4 у I ТЗ сэ й С4 Т4 У В 8 »"т. } \ 01 0,02 /
В ^ Л. \ 01 01 02 / /и п \ / Г?—г» Н \ ( л «—<1 « 74 1 \ в " " н / / \ о: о*« / 1 71 С1—С* С» 74 | \ в » * " / / \ 0; 0,08 / уГ П1 7« V N. /в 1 ” \ / О ^ М \ | п а л« 74 1 У в ■ » " г» / \ 01 о«« /
Г / " и^Ч. й \ " ^ ’ \ В ™ " и / \ 01 о- 02 У у Г)1 ГК 1*1 \ \ в » / / \ 0; о*М / \\ у \ (й 01« / / ГЩ Гп \ (’п\г У в и * » / \ № 01 Ш У
Д / РИ Л. Г'Пи 73 С*ч^і^С4 І* І \ ) \ 01 с 02 У / ■-Г- Л\ / # \ \ [ 71 « Сі Сі И | 1 \ » / V в ** те / \ 0! 0»« У /^5ЕГ-\ (і ж Л \ 0: / / V »Х V \ /И ^ Я \ / уз л н N 1 77 а й С4 74 У В«^п / \ 01 01« /
■ Рис. 4. Корреляционные отношения между отведениями головного мозга: А — фон (состояние расслабленного бодрствования с закрытыми глазами до начала партии); Б — обдумывание 17-го хода; В — продолжение обдумывания; Г — последние 10 с, включая принятие решения о ходе; Д — последействие (расслабленное бодрствование с закрытыми глазами через 5 мин после завершения партии)
ординированных отношений между отведениями Ер2 и С4. Пиковые значения обеих кривых ритмически не связаны между собой.
В конце обдумывания, когда гроссмейстер В. принимает решение относительно своего 17-го хода, графики спектральных интегралов, соответствующих рис. 2, свидетельствуют об их взаимосвязи с коэффициентом корреляции 0,905 (рис. 3). Главный пик, возможно, связан с моментом принятия решения, а следующие 5 квазипе-риодических всплесков синхронизированных спектральных интегралов связаны с окончательной проверкой принятого решения.
Очевидно, что спектральные интегралы для 21 отведения в рамках статьи представить невозможно, поэтому были рассчитаны матрицы корреляции между спектральными интегралами, соответствующими четырем стандартным частотным диапазонам, всем отведениям ЭЭГ в состояниях фона; обдумывания 17-го хода (3 фрагмента по 10 с) и последействия. Указаны те связи между отведениями ЭЭГ, где коэффициент корреляции превышает 0,9. Результаты представлены на рис. 4.
До начала партии в состоянии расслабленного бодрствования с закрытыми глазами наиболее скоррелированными каналами в тета-диапазоне (рис. 4А) являлась пара Г7 — левое лобное и Р4 — правое теменное отведения (коэффициент корреляции Я = 0,908), в диапазоне альфа-ритма такими каналами были пары Г3 - Т3, Гр1 - Fpz, Гр2 -- Fpz. В бета-диапазоне имела место одна связь F7 - Т3 с Я = 0,85.
В начале обдумывания 17-го хода (рис. 4Б) возрастают корреляции в дельта-диапазоне, затрагивающие преимущественно лобные отведения слева, в тета-диапазоне симметрично связаны лобно-центральные каналы преимущественно в поперечном направлении, связи в диапазоне альфа-ритма значительно растут в лобно-центральных отделах преимущественно в левом полушарии головного мозга, а также возникают поперечные связи в теменных отделах (Р3, Pz, Р4). Очевидно, это электрографическое отражение реакции шахматиста на позицию, возникшую на шахматной доске после хода, сделанного компьютером (реакция на «новизну»). Умственное напряжение, в котором находится шахматист при игре вслепую на протяжении всей партии, усиливается в связи с необходимостью оценки «новой» ситуации на доске и поисками адекватного ответного хода. Вероятно, гроссмейстер В. в силу особенностей своего мышления использует последовательный способ обработки шахматной информации.
В середине обдумывания 17-го хода (рис. 4В) корреляции в тета- и альфа-диапазонах несколько ослабевают по сравнению с фрагментом Б, но появились две существенные связи в бета-диапазо-
не Fpz - Fz и F3 - С3. Резко усилились связи внутри дельта-диапазона, захватив лобно-центрально-височно-теменные зоны коры головного мозга.
В последние 10 с размышления над ходом гроссмейстер оценивал возможные последствия принятого решения и, наконец, сообщал его «транслятору» (рис. 4Г). В диапазоне альфа-ритма, как и в первые 10 с обдумывания, в тесную взаимосвязь оказываются вовлеченными теменные отделы, однако, в отличие от фрагмента Б, Р2 связана с Cz и С4. Корреляции внутри дельта-диапазона ослабли.
При анализе ЭЭГ во время 80-секундного обдумывания 21-го хода той же партии были обнаружены те же закономерности и тот же последовательный способ анализа.
Электроэнцефалограмма последействия регистрировалась практически сразу после завершения партии (через 5 мин отдыха) при расслабленном бодрствовании и закрытых глазах. Соответствующие корреляционные отношения представлены на рис. 4Д. Полностью вернулись к исходному уровню корреляции внутри бета-диапазона. В диапазонах дельта-, тета- и, особенно, альфа-ритмов сохранились элементы конструкций, характерные для состояния умственного напряжения.
Заключение
Разработана биотехническая система, предназначенная для регистрации и количественной оценки ряда психофизиологических характеристик шахматистов высшей квалификации во время игры вслепую в шахматы с шахматной программой. Система является инструментом для психофизиологических исследований механизмов напряженной интеллектуальной деятельности. Динамика обдумывания, принятия решений, осознанные и неосознанные ошибки, просмотры и т. п. характеризуются рядом физиологических параметров, на основании которых специалисты в состоянии сделать определенные выводы относительно индивидуальных особенностей мотивированной когнитивной деятельности. Проведены испытания биотехнической системы в реальных электро- и психофизиологических исследованиях шахматистов высшей квалификации.
Предлагаемый метод расчета корреляций многоканальной нестационарной ЭЭГ, использующий интегральное вейвлетное преобразование, дает принципиально новую информацию о динамике спектральных характеристик процесса с высокой дискретизацией по времени, выполняет пространственно-временной анализ нарастания и угасания вспышек активности, возникающих в различных структурах коры головного
мозга во время проведения шахматной партии. Анализ спектральных интегралов позволил выявить пространственные взаимоотношения переходных процессов ЭЭГ во всех спектральных диапазонах, оценить моменты резких перестроек частотных диапазонов для различных каналов ЭЭГ и найти степень их синхронизации. Можно предположить, что динамика корреляционных отношений, определяемых по спектральным интегралам, в сопоставлении с динамикой обдумывания хода даст возможность определить, какой способ переработки информации — последовательный (сукцессивный) или параллельный (симультанный) — использует шахматист в той или иной позиции на шахматной доске.
Литература
1. Данько С. Г., Качалова Л. М. Электроэнцефалогра-фические характеристики когнитивно-специфического внимания готовности при вербальном обучении. Сообщение II. Общие характеристики пространственной синхронизации ЭЭГ // Физиология человека. 2009. Т. 35. № 4. C. 5-12.
2. Вольф Н. В., Тарасова И. В. Связь осцилляций тета- и бета-ритмов ЭЭГ с эффективностью творческой деятельности // Физиология человека. 2010. Т. 36. № 2. С. 15-22.
3. Ливанов М. Н., Гаврилова Н. А., Асланов А. С. Взаимные корреляции между различными участками коры головного мозга при умственной работе // Журн. высш. нервн. деят. им. И. П. Павлова. 1964. Т. 64. № 2. С. 185-194.
4. Свидерская Н. Е. Синхронная электрическая активность мозга и психические процессы. — М.: Наука, 1987. — 156 с.
5. Klimesch W. EEG alpha oscillations reflect cognitive and memory performance: a review and cognitive and analysis // Brain Reviews. 1999. Vol. 29. P. 169-195.
6. Николаев А. Р., Анохин А. П., Иваницкий Г. А. Спектральные перестройки ЭЭГ и организация корковых связей при пространственном и вербальном мышлении // Журнал высшей нервной деятельности. 1996. Т. 46. № 5. C. 831-848.
7. Каплан А. Я., Борисов С. В. Нестационарность сегментных характеристик альфа-активности ЭЭГ человека в покое и при когнитивных нагрузках // Журнал высшей нервной деятельности. 2003. Т. 53. № 1. С. 22-32.
8. Sigman M. et al. Response time distributions in rapid chess: a large-scale decision making experiment // Frontiers Neurosci. 2010. Vol. 4. Article 60. P. 1-12.
9. Суворов Н. Б., Абрамов В. А., Козаченко А. В., Полонский Ю. З. Биотехническая система для иссле-
Необходимо подчеркнуть, что умственная деятельность человека во всех ее многочисленных проявлениях в электрофизиологическом отображении имеет ярко выраженный индивидуальный характер. Это же относится и к профессиональным шахматистам — каждый из них имеет свой неповторимый стиль игры и мышления.
Научные результаты, полученные на разработанном и испытанном комплексе, могут иметь большое значение для нейрофизиологов, занимающихся изучением нераскрытых психофизиологических механизмов интеллектуальной деятельности, а также для специалистов в области искусственного интеллекта.
дования интеллектуальном деятельности человека // Информационно-управляющие системы. 2010. № 5. С. 70-77.
10. Fritz 11: Обзор - статьи об игре Fritz 11. http:// gameguru.ru/articles/525/view.html (дата обращения: 12.08.2009).
11. Короновский А. А., Храмов А. Е. Непрерывный вейвлетный анализ и его приложения. — М.: Физ-матлит, 2003. — 176 с.
12. Rosso O. A. et al. EEG analysis using wavelet-based information tools // Journal of Neuroscience Methods. 2006. Vol. 153. P. 163.
13. Addison P. S. Wavelet transforms the ECG: a review // Physiol. Meas. 2005. Vol. 26. P. 155.
14. Суворов Н. Б., Божокин С. В. Вейвлет-анализ переходных процессов электроэнцефалограммы при фотостимуляции // Биомедицинская радиоэлектроника. 2008. № 3. C. 21-25.
15. Божокин С. В. Вейвлет-анализ динамики усвоения и забывания ритмов фотостимуляции для нестационарной электроэнцефалограммы // Журнал технической физики. 2010. Т. 80. № 9. C. 16-24.
16. Анодина-Андриевская Е. М., Божокин С. В., Мару-сина М. Я., Полонский Ю. З., Суворов Н. Б. Перспективные подходы к анализу информативности физиологических сигналов и медицинских изображений человека при интеллектуальной деятельности // Изв. вузов. Приборостроение. 2011. Т. 54. № 7. C. 27-35.
17. Короновский А. А. и др. Диагностика и анализ ос-цилляторной нейросетевой активности головного мозга с использованием непрерывного вейвлетного преобразования // Изв. вузов. Прикладная и нелинейная динамика. 2011. Т. 19. № 1. C. 86-108.
