Синхронизация физиологических сигналов интеллектуальной деятельности человека с помощью многофункционального измерительного комплекса Текст научной статьи по специальности «Медицинские технологии»

Литература

1. Богатырев В. А. Надежность вариантов размещения функциональных ресурсов в однородных вычислительных сетях // Электронное моделирование. - 1997. - № 3. - С. 21-27.

2. Гатчин Ю.А., Кузнецова О.А. Оценка надежности структурно избыточных изделий при проектировании сложных технических систем // Научно-технический вестник СПбГУ ИТМО. - 2009. - № 1 (59). - С. 45-51.

3. Богатырев В.А., Беззубов В.Ф., Башкова С.А., Полякова А.В., Котельникова Е.Ю., Голубев И.Ю. Надежность дублированных вычислительных комплексов // Научно-технический вестник СПбГУ ИТМО. - 2011. - № 6 (76). - С. 74-78.

4. Bogatyrev V.A. Exchange of Duplicated Computing Complexes in Fault tolerant Systems // Automatic Control and Computer Sciences. - 2011. - V. 46. - № 5. - P. 268-276.

5. Богатырев В. А., Бибиков С.В. Оценка функциональной безопасности дублированных вычислительных систем // Научно-технический вестник информационных технологий, механики и оптики. -2012. - № 2 (78). - С. 146.

6. Богатырев В.А. Отказоустойчивые кластеры дублированных вычислительных комплексов // Информационные технологии. - 2012. - № 1. - С. 9-15.

7. Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых компьютерных систем // Научно-технический вестник СПбГУ ИТМО. - 2009. - № 5 (63). - С. 92-98.

8. Черкесов Г.Н. Надежность аппаратно-программных комплексов: Учебное пособие. - СПб: Питер, 2005. - 479 с.

9. Богатырев В.А., Богатырев С.В. Объединение резервированных серверов в кластеры высоконадежной компьютерной системы // Информационные технологии. - 2009. - № 6. - С. 41-48.

Алсуфьев Евгений Анатольевич - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, аспирант, ООО «Ракурс-инжиниринг», начальник научно-исследовательского отдела, alsufyev@mail.ru

Богатырев Владимир Анатольевич - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, доктор технических наук, профессор, Vladimir.bogatyrev@gmail.com

УДК 615.47, 616-71, 616.12-073.97-71

СИНХРОНИЗАЦИЯ ФИЗИОЛОГИЧЕСКИХ СИГНАЛОВ ИНТЕЛЛЕКТУАЛЬНОЙ ДЕЯТЕЛЬНОСТИ ЧЕЛОВЕКА С ПОМОЩЬЮ МНОГОФУНКЦИОНАЛЬНОГО ИЗМЕРИТЕЛЬНОГО КОМПЛЕКСА М.Я. Марусина, Н. Б. Суворов, А.В. Козаченко, Д.В. Толкович

Представлены результаты разработки многофункционального измерительного комплекса для регистрации физиологических и информационных сигналов, характеризующих психофизиологическое состояние человека в текущий момент времени. Комплекс обеспечивает возможность синхронизации и обработки в реальном времени всех регистрируемых психофизиологических параметров при изучении творческой деятельности испытуемого. Описана схема и состав многофункционального комплекса. Приведены результаты фиксирования и обработки физиологических сигналов, зарегистрированных при напряженной интеллектуальной деятельности. Ключевые слова: измерительный комплекс, синхронизация, энцефалография, физиологические сигналы, психофизиологические состояния.

Введение

Для исследования психофизиологических состояний человека используется ряд методов, одним из которых является метод видеомониторинга [1]. Видеомониторинг интеллектуальной деятельности - это исследование, в ходе которого проводится длительная синхронная запись электроэнцефалограммы, электрокардиограммы, функции дыхания, видео- и аудиоданных о физиологической, двигательной и поведенческой деятельности испытуемого, включая голосовые реакции. Однако измерительные комплексы видеомониторинга, выпускаемые в настоящее время для нужд научно-практических учреждений здравоохранения, не предназначены для исследования напряженной интеллектуальной деятельности человека, например, творческой деятельности [1, 2].

Процесс интеллектуальной деятельности человека чрезвычайно сложен для инструментальных исследований, так как непосредственно связан с мгновенным или постепенным изменением значительного числа психофизиологических параметров, характеризующих состояние человека в текущий момент времени. Анализ и обработка комплекса психофизиологических параметров, полученных в результате диагностического тестирования, требует соблюдения определенных принципов при их регистрации, главным из которых является синхронизация физиологических, информационных и вспомогательных сигналов во

времени. Такой подход обеспечивает количественный и качественный анализ множества измеренных данных без потери временных ориентиров.

Цель исследования - разработка и создание многофункционального измерительного комплекса для синхронной регистрации и последующей обработки (в режиме реального времени) электрофизиологических сигналов, регистрируемых в ходе изучения напряженной интеллектуальной деятельности человека.

Синхронная регистрация физиологических сигналов

Синхронизируемые в процессе исследования сигналы, регистрируемые измерительным комплексом, можно разбить на две группы: физиологические и информационные. К физиологическим относятся сигналы, связанные непосредственно с описанием психофизиологического состояния испытуемого. Информационные сигналы связаны с регистрацией результатов тестирования. Кроме того, существуют сигналы, которые не относятся к синхронизируемым, но необходимы для оценки состояния. Для оценки психофизиологического состояния испытуемого необходимо зарегистрировать физиологические сигналы:

- электроэнцефалограмма (ЭЭГ) испытуемого - 21 (или более) канал;

- миограмма лицевых мышц - до 8 каналов;

- электрокардиограмма (ЭКГ) испытуемого - от 2 до 12 каналов, в том числе кардиоритмограмма II

отведения;

- функция дыхания испытуемого - до 3 каналов;

- артериальное давление испытуемого - 1 канал;

- содержание кислорода в крови (оксигемометрия) - 1 канал;

- сигнал готовности с пульта испытуемого - 1 канал;

- информационные сигналы:

- аудиоканал испытуемого - 1 канал;

- аудиоканал оператора - 1 канал;

- видеопоток камеры испытуемого - 1 канал;

- видеопоток вспомогательной камеры - 1 канал.

Архитектура разработанного комплекса допускает возможность расширения количества регистрируемых физиологических и информационных сигналов за счет подключения дополнительных датчиков.

Все указанные физиологические сигналы обладают общими свойствами: изменяются во времени, регистрируются как электрические сигналы, изменяются в диапазоне амплитуд 10 мкВ-500 мВ и в диапазоне частот 0-150 Гц. Физиологические сигналы имеют особенности, которые необходимо учитывать при проведении измерений.

0,2

0,2

0,4

0,4

0,6

0,6

0,8

0,8

0,2 б

0,2

0,4

0,4

0,6

0,6

0,8

0,8

0 0,2 0,4 0,6 0,8 1

г

м ¡^нЩц

д е

Рис. 1. Электроэнцефалографические ритмы: дельта-ритм (а); тета-ритм (б); альфа-ритм (в);

мю-ритм (г); бета-ритм (д); гамма-ритм (е)

Электроэнцефалографический сигнал отличается наибольшей сложностью среди исследуемых физиологических сигналов. Это связано как с большим числом регистрируемых точек на голове испытуемого, так и с амплитудно-частотными особенностями сигнала. Типичный электроэнцефалографический сигнал представляет собой комбинацию сигналов различных видов ритмов, характеризующих работу

0

1

0

1

а

0

в

0

1

0

1

головного мозга (дельта-ритм, тета-ритм, альфа-ритм, мю-ритм, бета-ритм, гамма-ритм). Примеры ритмов показаны на рис. 1.

Известно, что умственные нагрузки приводят к изменению амплитудно-частотных параметров всех вышеуказанных ритмов ЭЭГ. Электрокардиографический сигнал на текущий момент один из наиболее полно изученных физиологических сигналов. ЭКГ позволяет изучить автоматизм, возбудимость, проводимость и сокращательную функцию миокарда, что дает возможность косвенно оценивать уровень нагрузки испытуемого.

Миограмма - метод исследования биоэлектрической активности мышц и нервов. В рамках данного комплекса он применяется для компенсации искажений, наложенных на энцефалограмму вследствие активности лицевых мышц испытуемого.

Состав и схема комплекса

Для решения проблемы синхронизации регистрируемых физиологических сигналов была проведена модификация биотехнической системы, описанной в работах [3, 4]. В указанных статьях представлен специализированный информационно-измерительный комплекс, предназначенный для анализа результатов напряженной интеллектуальной деятельности на примере игры в шахматы. Комплекс позволяет для полученных результатов соотнести шахматную позицию и психофизиологические параметры испытуемого в любой момент времени. Недостатками комплекса [3, 4] являются невозможность синхронизации данных в режиме реального времени и отсутствие синхронизации между главным и шахматным компьютерами.

В отличие от прототипа, разработанный многофункциональный измерительный комплекс обеспечивает возможность синхронизации в реальном времени всех регистрируемых сигналов - ЭЭГ, ЭКГ, пневмограммы (ПГ), аудио- и видеосигналов и т.д. Кроме того, разработанный измерительный комплекс обеспечивает возможность обработки сигналов в реальном времени (разложение сигналов в спектры, применение вейвлет-анализа, получение динамических спектральных характеристик и т.д.). Исследования информативности вейвлет-анализа многоканальной электроэнцефалограммы шахматистов, позволившего с высоким разрешением получить динамические спектральные характеристики во время обдумывания хода шахматной партии, были представлены в работах [3, 4].

Как указывалось ранее, при исследованиях с помощью разработанного комплекса регистрируется как физиологические, так и информационные сигналы. Информационные сигналы, не задействованные напрямую в ходе измерения физиологических сигналов, также регистрируются аппаратно-программным комплексом на базе персонального компьютера и впоследствии синхронизируются с физиологическим сигналами с помощью специально разработанного программного обеспечения, путем совмещения временных меток.

Согласно определению биотехнической системы, разработанный комплекс, представленный в виде схемы на рис. 2, состоит из модулей регистрации сигналов, устройства обработки информации (компьютера), испытуемого и оператора.

Рассмотрим модули подробнее.

Модуль регистрации сигналов представляет собой многоканальный регистратор (самописец), к которому подключены датчики для регистрации различных физиологических сигналов.

В состав комплекса входят следующие типы датчиков:

ЭЭГ - типовой комплект электродов для регистрации электроэнцефалограммы испытуемого, сгруппированный в виде шапочки, согласно схеме «10-20»;

ЭКГ - типовой комплект электродов для регистрации электрокардиограммы испытуемого согласно стандартным схемам;

ЭМГ - типовой комплект электродов для регистрации физиологической активности мышц лица;

П - датчик регистрации пульса испытуемого, необходимый для регистрации пульса и последующей синхронизации кардиосигналов с сигналами мозговой деятельности;

Д - датчик регистрации дыхания испытуемого, необходимый для регистрации параметров дыхания и последующей синхронизации их с сигналами мозговой деятельности;

Кп - кнопочный пульт испытуемого, представляющий собой бокс с двумя кнопками и предназначен для создания дополнительных временных меток (испытуемый нажимает на кнопку при готовности ответить);

К - датчик регистрации кислорода в крови испытуемого, необходимый для оценки энергозатрат при напряженной когнитивной деятельности;

А - датчик артериального давления, предназначенный для регистрации давления испытуемого в режиме реального времени;

П - датчик регистрации пульса испытуемого, предназначенный для оценки частоты сердечных сокращений в единицу времени.

Испытуемый

Модуль регистрации физиологических сигналов

ЭЭГ Д

ЭМГ А

ЭКГ К

П Кп

А1 А2

В1 В2

Модуль регистрации информационных систем

Компьютер

Оператор

Рис. 2. Схема комплекса

Рис. 3. Компоненты комплекса: модуль регистрации физиологических сигналов и электроды на голове испытуемого (а); оператор обрабатывает результаты на компьютере (б)

Модуль регистрации информационных сигналов предназначен для регистрации состояния испытуемого и аудио - визуальных воздействий на него. В состав модуля входят следующие системы:

А1 - аудиосистема испытуемого, предназначена для регистрации аудиосигналов (голоса) испытуемого о готовности к выполнению заданий и о результатах выполнения заданий (ответ на задачу);

А2 - аудиосистема оператора, предназначена для регистрации инструкций испытуемого и наложения аудиометок по времени подачи инструкций на тайм-ленту исследования (где синхронизируется с сигналами мозговой деятельности). Система громкоговорителей предназначена для стимуляции испытуемого и подачи команд оператора.

В1 - видеокамера, предназначена для регистрации состояния испытуемого с целью последующей синхронизации физиологических сигналов и видеоряда;

В2 - вспомогательный видеорегистратор, предназначен для фиксации и последующей визуализации задач, поставленных перед испытуемым.

Результаты работы комплекса

Все испытуемые перед проведением исследований подписали информированное согласие.

Примеры результатов работы фиксирования и обработки сигналов, зарегистрированных с помощью комплекса, представлены на рис. 4-7.

Рис. 4. Фрагмент регистрации физиологических сигналов (ЭЭГ, ЭКГ и пневмограмма)

t, с

Рис. 5. Фрагмент регистрации физиологических и информационных сигналов: Д - дыхание; А1 - аудиосигнал испытуемого; А2 - аудиосигнал оператора

На рис. 4 показан скриншот регистрации различных электрофизиологических сигналов -21 отведение (канал) электроэнцефалограммы при решении шахматной задачи с закрытыми глазами. Справа вверху наложена позиция шахматной задачи (автор Г. Заходякин, 1949 г., позиция приведена по материалам [5]), справа внизу указана схема расположения электродов «10-20%» по Джасперу. Электроды, маркированные индексом F, относятся к лобным отделам головного мозга, С - центральные, Р - теменные, Т- височные, О - затылочные. Biol (электрокардиограмма) регистрируется двумя электродами, зафиксированными на предплечьях испытуемого, Bio2 фиксирует функцию дыхания (пневмограмму) испытуемого, регистрируемую термодатчиком. В верхней строке указаны режим и время исследования: интервал отметок времени между вертикальными линиями составляет 0,2 с.

На рис. 5 показана синхронная фиксация электрофизиологических и информационных сигналов. В качестве физиологических сигналов использованы сигналы кардиограммы (ЭКГ) и дыхания (Д), а в качестве информационных - фрагмент общения между оператором (А2) и испытуемым (А1). Также регистрируется информация с видеоканала испытуемого (В1) и вспомогательный видеосигнал (В2) (визуализация задач, поставленных перед испытуемым).

На рис. 6 приведен один из видов обработки зарегистрированных электрофизиологических сигналов - спектральный Фурье-анализ. Эпоха анализа равнялась 30 с, усреднялись спектры мощности четы-рехсекундных фрагментов с наложением 50%. Внизу (рис. 6, б) приведены топограммы распределения по поверхности головы двух доминирующих гармоник, лежащих в диапазоне альфа-ритма.

На рис. 7 представлены результаты кросскорреляционного анализа электрофизиологических сигналов. Этот вид обработки сигналов необходим для выявления взаимосвязи между отдельными каналами

регистрации сигналов. В процессе преобразования используется информация, полученная с электродов для регистрации ЭЭГ. Для выявления корреляции между зонами головного мозга (отведениями) ЭЭГ-сигналов была проведена предварительная синхронизация физиологических сигналов в заданном интервале времени.

2 8001.400-

мкЕГ2-4.2002 0001.400-

мкВл2-4 2002 0001.400-

Л

А

/у

10 20 Гц 10 20 Гц 10 20 Га

Р[ 10 74 Гц] г Г ■ Р[ Э 77 Гц] г Р ■

-А.

Л.

Рис. 6. Разложение фрагмента ЭЭГ (состояние расслабленного бодрствования с закрытыми глазами) на спектральные составляющие: спектры сигналов по отведениям (а); топограммы распределения

отдельных гармоник (б)

0 8000 400-

■ЛАМ-

Рис. 7. Кросскоррелограммы того же фрагмента ЭЭГ

Заключение

Предложенная модификация биотехнической системы с помощью синхронизации физиологических сигналов в режиме реального времени и дополнительное введение аудиоканалов и видеоканалов в измерительный комплекс позволяют повысить качество психофизиологических исследований. Синхронная регистрация и последующая обработка данных без потери временных ориентиров позволит специалистам провести качественный и количественный анализ набора физиологических параметров. Научные результаты, полученные на разработанном многофункциональном комплексе, являются инструментом для психофизиологических исследований механизмов напряженной интеллектуальной деятельности.

Дальнейшие исследования, планируемые совместно с физиологами ФГБУ «НИИЭМ» СЗО РАМН, предполагают проведение экспериментов для уточнения параметров синхронизации физиологических и информационных сигналов, а также оценку степени взаимовлияния различных психофизиологических параметров, характеризующих состояние испытуемого в текущий момент времени.

Работа выполнена в ходе проведения НИР в рамках реализации ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы по теме «Исследование нестационарных физиологических сигналов и изображений при интеллектуальной деятельности с помощью многофункционального диагностического измерительного комплекса».

Литература

1. Иванов Л.Б. Прикладная компьютерная электроэнцефалография. - М.: Научно-медицинская фирма МБН, 2004. - 2-е изд. - 352 с.

2. Психофизиология: Учебник для вузов / Под ред. Ю.И. Александрова. - 3-е изд., доп. и перераб. -СПб: Питер, 2012. - 464 с.

3. Суворов Н.Б., Абрамов В.А., Козаченко А.В., Полонский Ю.З. Биотехническая система для изучения интеллектуальной деятельности человека // Информационно-управляющие системы. - 2010. -№ 5 (48). - С. 70-77.

4. Анодина-Андриевская Е.М., Божокин С.В., Марусина М.Я., Полонский Ю.З., Суворов Н.Б. Перспективные подходы к анализу информативности физиологических сигналов и медицинских изображений человека, при интеллектуальной деятельности // Изв. вузов. Приборостроение. - 2011. Т. 54. - № 7. - С. 27-34.

5. Тишков А.А., Чепижный В.И. Шахматные задачи-миниатюры. - М.: Физкультура и спорт, 1987. -336 с.

Марусина Мария Яковлевна - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, доктор технических наук, профессор, зав. кафедрой, marusina_m@mail.ru

Суворов Николай Борисович - ФГБУ «НИИЭМ» СЗО РАМН, доктор биологических наук, профес-

сор, зав. лабораторией, nbsuvorov@yandex.ru

Козаченко Александр Викторович - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, кандидат технических наук, доцент, a_kozachenko@mail.ru

Толкович Дмитрий Владиславович - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, аспирант, PYBY@inbox.ru