Научная статья на тему 'Синхронизация физиологических сигналов интеллектуальной деятельности человека с помощью многофункционального измерительного комплекса'

Синхронизация физиологических сигналов интеллектуальной деятельности человека с помощью многофункционального измерительного комплекса Текст научной статьи по специальности «Медицинские технологии»

CC BY
479
221
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИЗМЕРИТЕЛЬНЫЙ КОМПЛЕКС / MEASURING COMPLEX / СИНХРОНИЗАЦИЯ / SYNCHRONIZATION / ЭНЦЕФАЛОГРАФИЯ / ENCEPHALOGRAPHY / ФИЗИОЛОГИЧЕСКИЕ СИГНАЛЫ / PHYSIOLOGICAL SIGNALS / ПСИХОФИЗИОЛОГИЧЕСКИЕ СОСТОЯНИЯ / PSYCHOPHYSIOLOGICAL STATES

Аннотация научной статьи по медицинским технологиям, автор научной работы — Марусина Мария Яковлевна, Суворов Николай Борисович, Козаченко Александр Викторович, Толкович Дмитрий Владиславович

Представлены результаты разработки многофункционального измерительного комплекса для регистрации физиологических и информационных сигналов, характеризующих психофизиологическое состояние человека в текущий момент времени. Комплекс обеспечивает возможность синхронизации и обработки в реальном времени всех регистрируемых психофизиологических параметров при изучении творческой деятельности испытуемого. Описана схема и состав многофункционального комплекса. Приведены результаты фиксирования и обработки физиологических сигналов, зарегистрированных при напряженной интеллектуальной деятельности.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по медицинским технологиям , автор научной работы — Марусина Мария Яковлевна, Суворов Николай Борисович, Козаченко Александр Викторович, Толкович Дмитрий Владиславович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

SYNCHRONIZING OF PHYSIOLOGICAL SIGNALS FOR HUMAN INTELLECTUAL ACTIVITY BY MULTIFUNCTIONAL MEASURING COMPLEX

The article deals with development results of multi-measurement system for recording of physiological and information signals describing the psycho-physiological state of a person at the current instant time. The complex gives the possibility to synchronizing and real-time processing of all recorded physiological parameters during the study of the subject creative activity. The scheme and components of multifunctional complex are described. Results of the fixing and processing of physiological signals recorded during intense intellectual activity are given.

Текст научной работы на тему «Синхронизация физиологических сигналов интеллектуальной деятельности человека с помощью многофункционального измерительного комплекса»

Литература

1. Богатырев В. А. Надежность вариантов размещения функциональных ресурсов в однородных вычислительных сетях // Электронное моделирование. - 1997. - № 3. - С. 21-27.

2. Гатчин Ю.А., Кузнецова О.А. Оценка надежности структурно избыточных изделий при проектировании сложных технических систем // Научно-технический вестник СПбГУ ИТМО. - 2009. - № 1 (59). - С. 45-51.

3. Богатырев В.А., Беззубов В.Ф., Башкова С.А., Полякова А.В., Котельникова Е.Ю., Голубев И.Ю. Надежность дублированных вычислительных комплексов // Научно-технический вестник СПбГУ ИТМО. - 2011. - № 6 (76). - С. 74-78.

4. Bogatyrev V.A. Exchange of Duplicated Computing Complexes in Fault tolerant Systems // Automatic Control and Computer Sciences. - 2011. - V. 46. - № 5. - P. 268-276.

5. Богатырев В. А., Бибиков С.В. Оценка функциональной безопасности дублированных вычислительных систем // Научно-технический вестник информационных технологий, механики и оптики. -2012. - № 2 (78). - С. 146.

6. Богатырев В.А. Отказоустойчивые кластеры дублированных вычислительных комплексов // Информационные технологии. - 2012. - № 1. - С. 9-15.

7. Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых компьютерных систем // Научно-технический вестник СПбГУ ИТМО. - 2009. - № 5 (63). - С. 92-98.

8. Черкесов Г.Н. Надежность аппаратно-программных комплексов: Учебное пособие. - СПб: Питер, 2005. - 479 с.

9. Богатырев В.А., Богатырев С.В. Объединение резервированных серверов в кластеры высоконадежной компьютерной системы // Информационные технологии. - 2009. - № 6. - С. 41-48.

Алсуфьев Евгений Анатольевич - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, аспирант, ООО «Ракурс-инжиниринг», начальник научно-исследовательского отдела, alsufyev@mail.ru

Богатырев Владимир Анатольевич - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, доктор технических наук, профессор, Vladimir.bogatyrev@gmail.com

УДК 615.47, 616-71, 616.12-073.97-71

СИНХРОНИЗАЦИЯ ФИЗИОЛОГИЧЕСКИХ СИГНАЛОВ ИНТЕЛЛЕКТУАЛЬНОЙ ДЕЯТЕЛЬНОСТИ ЧЕЛОВЕКА С ПОМОЩЬЮ МНОГОФУНКЦИОНАЛЬНОГО ИЗМЕРИТЕЛЬНОГО КОМПЛЕКСА М.Я. Марусина, Н. Б. Суворов, А.В. Козаченко, Д.В. Толкович

Представлены результаты разработки многофункционального измерительного комплекса для регистрации физиологических и информационных сигналов, характеризующих психофизиологическое состояние человека в текущий момент времени. Комплекс обеспечивает возможность синхронизации и обработки в реальном времени всех регистрируемых психофизиологических параметров при изучении творческой деятельности испытуемого. Описана схема и состав многофункционального комплекса. Приведены результаты фиксирования и обработки физиологических сигналов, зарегистрированных при напряженной интеллектуальной деятельности. Ключевые слова: измерительный комплекс, синхронизация, энцефалография, физиологические сигналы, психофизиологические состояния.

Введение

Для исследования психофизиологических состояний человека используется ряд методов, одним из которых является метод видеомониторинга [1]. Видеомониторинг интеллектуальной деятельности - это исследование, в ходе которого проводится длительная синхронная запись электроэнцефалограммы, электрокардиограммы, функции дыхания, видео- и аудиоданных о физиологической, двигательной и поведенческой деятельности испытуемого, включая голосовые реакции. Однако измерительные комплексы видеомониторинга, выпускаемые в настоящее время для нужд научно-практических учреждений здравоохранения, не предназначены для исследования напряженной интеллектуальной деятельности человека, например, творческой деятельности [1, 2].

Процесс интеллектуальной деятельности человека чрезвычайно сложен для инструментальных исследований, так как непосредственно связан с мгновенным или постепенным изменением значительного числа психофизиологических параметров, характеризующих состояние человека в текущий момент времени. Анализ и обработка комплекса психофизиологических параметров, полученных в результате диагностического тестирования, требует соблюдения определенных принципов при их регистрации, главным из которых является синхронизация физиологических, информационных и вспомогательных сигналов во

времени. Такой подход обеспечивает количественный и качественный анализ множества измеренных данных без потери временных ориентиров.

Цель исследования - разработка и создание многофункционального измерительного комплекса для синхронной регистрации и последующей обработки (в режиме реального времени) электрофизиологических сигналов, регистрируемых в ходе изучения напряженной интеллектуальной деятельности человека.

Синхронная регистрация физиологических сигналов

Синхронизируемые в процессе исследования сигналы, регистрируемые измерительным комплексом, можно разбить на две группы: физиологические и информационные. К физиологическим относятся сигналы, связанные непосредственно с описанием психофизиологического состояния испытуемого. Информационные сигналы связаны с регистрацией результатов тестирования. Кроме того, существуют сигналы, которые не относятся к синхронизируемым, но необходимы для оценки состояния. Для оценки психофизиологического состояния испытуемого необходимо зарегистрировать физиологические сигналы:

- электроэнцефалограмма (ЭЭГ) испытуемого - 21 (или более) канал;

- миограмма лицевых мышц - до 8 каналов;

- электрокардиограмма (ЭКГ) испытуемого - от 2 до 12 каналов, в том числе кардиоритмограмма II

отведения;

- функция дыхания испытуемого - до 3 каналов;

- артериальное давление испытуемого - 1 канал;

- содержание кислорода в крови (оксигемометрия) - 1 канал;

- сигнал готовности с пульта испытуемого - 1 канал;

- информационные сигналы:

- аудиоканал испытуемого - 1 канал;

- аудиоканал оператора - 1 канал;

- видеопоток камеры испытуемого - 1 канал;

- видеопоток вспомогательной камеры - 1 канал.

Архитектура разработанного комплекса допускает возможность расширения количества регистрируемых физиологических и информационных сигналов за счет подключения дополнительных датчиков.

Все указанные физиологические сигналы обладают общими свойствами: изменяются во времени, регистрируются как электрические сигналы, изменяются в диапазоне амплитуд 10 мкВ-500 мВ и в диапазоне частот 0-150 Гц. Физиологические сигналы имеют особенности, которые необходимо учитывать при проведении измерений.

0,2

0,2

0,4

0,4

0,6

0,6

0,8

0,8

0,2 б

0,2

0,4

0,4

0,6

0,6

0,8

0,8

0 0,2 0,4 0,6 0,8 1

г

м ¡^нЩц

д е

Рис. 1. Электроэнцефалографические ритмы: дельта-ритм (а); тета-ритм (б); альфа-ритм (в);

мю-ритм (г); бета-ритм (д); гамма-ритм (е)

Электроэнцефалографический сигнал отличается наибольшей сложностью среди исследуемых физиологических сигналов. Это связано как с большим числом регистрируемых точек на голове испытуемого, так и с амплитудно-частотными особенностями сигнала. Типичный электроэнцефалографический сигнал представляет собой комбинацию сигналов различных видов ритмов, характеризующих работу

0

1

0

1

а

0

в

0

1

0

1

головного мозга (дельта-ритм, тета-ритм, альфа-ритм, мю-ритм, бета-ритм, гамма-ритм). Примеры ритмов показаны на рис. 1.

Известно, что умственные нагрузки приводят к изменению амплитудно-частотных параметров всех вышеуказанных ритмов ЭЭГ. Электрокардиографический сигнал на текущий момент один из наиболее полно изученных физиологических сигналов. ЭКГ позволяет изучить автоматизм, возбудимость, проводимость и сокращательную функцию миокарда, что дает возможность косвенно оценивать уровень нагрузки испытуемого.

Миограмма - метод исследования биоэлектрической активности мышц и нервов. В рамках данного комплекса он применяется для компенсации искажений, наложенных на энцефалограмму вследствие активности лицевых мышц испытуемого.

Состав и схема комплекса

Для решения проблемы синхронизации регистрируемых физиологических сигналов была проведена модификация биотехнической системы, описанной в работах [3, 4]. В указанных статьях представлен специализированный информационно-измерительный комплекс, предназначенный для анализа результатов напряженной интеллектуальной деятельности на примере игры в шахматы. Комплекс позволяет для полученных результатов соотнести шахматную позицию и психофизиологические параметры испытуемого в любой момент времени. Недостатками комплекса [3, 4] являются невозможность синхронизации данных в режиме реального времени и отсутствие синхронизации между главным и шахматным компьютерами.

В отличие от прототипа, разработанный многофункциональный измерительный комплекс обеспечивает возможность синхронизации в реальном времени всех регистрируемых сигналов - ЭЭГ, ЭКГ, пневмограммы (ПГ), аудио- и видеосигналов и т.д. Кроме того, разработанный измерительный комплекс обеспечивает возможность обработки сигналов в реальном времени (разложение сигналов в спектры, применение вейвлет-анализа, получение динамических спектральных характеристик и т.д.). Исследования информативности вейвлет-анализа многоканальной электроэнцефалограммы шахматистов, позволившего с высоким разрешением получить динамические спектральные характеристики во время обдумывания хода шахматной партии, были представлены в работах [3, 4].

Как указывалось ранее, при исследованиях с помощью разработанного комплекса регистрируется как физиологические, так и информационные сигналы. Информационные сигналы, не задействованные напрямую в ходе измерения физиологических сигналов, также регистрируются аппаратно-программным комплексом на базе персонального компьютера и впоследствии синхронизируются с физиологическим сигналами с помощью специально разработанного программного обеспечения, путем совмещения временных меток.

Согласно определению биотехнической системы, разработанный комплекс, представленный в виде схемы на рис. 2, состоит из модулей регистрации сигналов, устройства обработки информации (компьютера), испытуемого и оператора.

Рассмотрим модули подробнее.

Модуль регистрации сигналов представляет собой многоканальный регистратор (самописец), к которому подключены датчики для регистрации различных физиологических сигналов.

В состав комплекса входят следующие типы датчиков:

ЭЭГ - типовой комплект электродов для регистрации электроэнцефалограммы испытуемого, сгруппированный в виде шапочки, согласно схеме «10-20»;

ЭКГ - типовой комплект электродов для регистрации электрокардиограммы испытуемого согласно стандартным схемам;

ЭМГ - типовой комплект электродов для регистрации физиологической активности мышц лица;

П - датчик регистрации пульса испытуемого, необходимый для регистрации пульса и последующей синхронизации кардиосигналов с сигналами мозговой деятельности;

Д - датчик регистрации дыхания испытуемого, необходимый для регистрации параметров дыхания и последующей синхронизации их с сигналами мозговой деятельности;

Кп - кнопочный пульт испытуемого, представляющий собой бокс с двумя кнопками и предназначен для создания дополнительных временных меток (испытуемый нажимает на кнопку при готовности ответить);

К - датчик регистрации кислорода в крови испытуемого, необходимый для оценки энергозатрат при напряженной когнитивной деятельности;

А - датчик артериального давления, предназначенный для регистрации давления испытуемого в режиме реального времени;

П - датчик регистрации пульса испытуемого, предназначенный для оценки частоты сердечных сокращений в единицу времени.

Испытуемый

Модуль регистрации физиологических сигналов

ЭЭГ Д

ЭМГ А

ЭКГ К

П Кп

А1 А2

В1 В2

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Модуль регистрации информационных систем

Компьютер

Оператор

Рис. 2. Схема комплекса

Рис. 3. Компоненты комплекса: модуль регистрации физиологических сигналов и электроды на голове испытуемого (а); оператор обрабатывает результаты на компьютере (б)

Модуль регистрации информационных сигналов предназначен для регистрации состояния испытуемого и аудио - визуальных воздействий на него. В состав модуля входят следующие системы:

А1 - аудиосистема испытуемого, предназначена для регистрации аудиосигналов (голоса) испытуемого о готовности к выполнению заданий и о результатах выполнения заданий (ответ на задачу);

А2 - аудиосистема оператора, предназначена для регистрации инструкций испытуемого и наложения аудиометок по времени подачи инструкций на тайм-ленту исследования (где синхронизируется с сигналами мозговой деятельности). Система громкоговорителей предназначена для стимуляции испытуемого и подачи команд оператора.

В1 - видеокамера, предназначена для регистрации состояния испытуемого с целью последующей синхронизации физиологических сигналов и видеоряда;

В2 - вспомогательный видеорегистратор, предназначен для фиксации и последующей визуализации задач, поставленных перед испытуемым.

Результаты работы комплекса

Все испытуемые перед проведением исследований подписали информированное согласие.

Примеры результатов работы фиксирования и обработки сигналов, зарегистрированных с помощью комплекса, представлены на рис. 4-7.

Рис. 4. Фрагмент регистрации физиологических сигналов (ЭЭГ, ЭКГ и пневмограмма)

t, с

Рис. 5. Фрагмент регистрации физиологических и информационных сигналов: Д - дыхание; А1 - аудиосигнал испытуемого; А2 - аудиосигнал оператора

На рис. 4 показан скриншот регистрации различных электрофизиологических сигналов -21 отведение (канал) электроэнцефалограммы при решении шахматной задачи с закрытыми глазами. Справа вверху наложена позиция шахматной задачи (автор Г. Заходякин, 1949 г., позиция приведена по материалам [5]), справа внизу указана схема расположения электродов «10-20%» по Джасперу. Электроды, маркированные индексом F, относятся к лобным отделам головного мозга, С - центральные, Р - теменные, Т- височные, О - затылочные. Biol (электрокардиограмма) регистрируется двумя электродами, зафиксированными на предплечьях испытуемого, Bio2 фиксирует функцию дыхания (пневмограмму) испытуемого, регистрируемую термодатчиком. В верхней строке указаны режим и время исследования: интервал отметок времени между вертикальными линиями составляет 0,2 с.

На рис. 5 показана синхронная фиксация электрофизиологических и информационных сигналов. В качестве физиологических сигналов использованы сигналы кардиограммы (ЭКГ) и дыхания (Д), а в качестве информационных - фрагмент общения между оператором (А2) и испытуемым (А1). Также регистрируется информация с видеоканала испытуемого (В1) и вспомогательный видеосигнал (В2) (визуализация задач, поставленных перед испытуемым).

На рис. 6 приведен один из видов обработки зарегистрированных электрофизиологических сигналов - спектральный Фурье-анализ. Эпоха анализа равнялась 30 с, усреднялись спектры мощности четы-рехсекундных фрагментов с наложением 50%. Внизу (рис. 6, б) приведены топограммы распределения по поверхности головы двух доминирующих гармоник, лежащих в диапазоне альфа-ритма.

На рис. 7 представлены результаты кросскорреляционного анализа электрофизиологических сигналов. Этот вид обработки сигналов необходим для выявления взаимосвязи между отдельными каналами

регистрации сигналов. В процессе преобразования используется информация, полученная с электродов для регистрации ЭЭГ. Для выявления корреляции между зонами головного мозга (отведениями) ЭЭГ-сигналов была проведена предварительная синхронизация физиологических сигналов в заданном интервале времени.

2 8001.400-

мкЕГ2-4.2002 0001.400-

мкВл2-4 2002 0001.400-

Л

А

10 20 Гц 10 20 Гц 10 20 Га

Р[ 10 74 Гц] г Г ■ Р[ Э 77 Гц] г Р ■

-А.

Л.

Рис. 6. Разложение фрагмента ЭЭГ (состояние расслабленного бодрствования с закрытыми глазами) на спектральные составляющие: спектры сигналов по отведениям (а); топограммы распределения

отдельных гармоник (б)

0 8000 400-

■ЛАМ-

Рис. 7. Кросскоррелограммы того же фрагмента ЭЭГ

Заключение

Предложенная модификация биотехнической системы с помощью синхронизации физиологических сигналов в режиме реального времени и дополнительное введение аудиоканалов и видеоканалов в измерительный комплекс позволяют повысить качество психофизиологических исследований. Синхронная регистрация и последующая обработка данных без потери временных ориентиров позволит специалистам провести качественный и количественный анализ набора физиологических параметров. Научные результаты, полученные на разработанном многофункциональном комплексе, являются инструментом для психофизиологических исследований механизмов напряженной интеллектуальной деятельности.

Дальнейшие исследования, планируемые совместно с физиологами ФГБУ «НИИЭМ» СЗО РАМН, предполагают проведение экспериментов для уточнения параметров синхронизации физиологических и информационных сигналов, а также оценку степени взаимовлияния различных психофизиологических параметров, характеризующих состояние испытуемого в текущий момент времени.

Работа выполнена в ходе проведения НИР в рамках реализации ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы по теме «Исследование нестационарных физиологических сигналов и изображений при интеллектуальной деятельности с помощью многофункционального диагностического измерительного комплекса».

Литература

1. Иванов Л.Б. Прикладная компьютерная электроэнцефалография. - М.: Научно-медицинская фирма МБН, 2004. - 2-е изд. - 352 с.

2. Психофизиология: Учебник для вузов / Под ред. Ю.И. Александрова. - 3-е изд., доп. и перераб. -СПб: Питер, 2012. - 464 с.

3. Суворов Н.Б., Абрамов В.А., Козаченко А.В., Полонский Ю.З. Биотехническая система для изучения интеллектуальной деятельности человека // Информационно-управляющие системы. - 2010. -№ 5 (48). - С. 70-77.

4. Анодина-Андриевская Е.М., Божокин С.В., Марусина М.Я., Полонский Ю.З., Суворов Н.Б. Перспективные подходы к анализу информативности физиологических сигналов и медицинских изображений человека, при интеллектуальной деятельности // Изв. вузов. Приборостроение. - 2011. Т. 54. - № 7. - С. 27-34.

5. Тишков А.А., Чепижный В.И. Шахматные задачи-миниатюры. - М.: Физкультура и спорт, 1987. -336 с.

Марусина Мария Яковлевна - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, доктор технических наук, профессор, зав. кафедрой, marusina_m@mail.ru

Суворов Николай Борисович - ФГБУ «НИИЭМ» СЗО РАМН, доктор биологических наук, профес-

сор, зав. лабораторией, nbsuvorov@yandex.ru

Козаченко Александр Викторович - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, кандидат технических наук, доцент, a_kozachenko@mail.ru

Толкович Дмитрий Владиславович - Санкт-Петербургский национальный исследовательский университет

информационных технологий, механики и оптики, аспирант, PYBY@inbox.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.