CC BY
13Научная статья Original article УДК 004.04, 004.58
МЕТОД И СРЕДСТВА ДЛЯ СБОРА МУЛЬТИМОДАЛЬНЫХ ДАННЫХ С ПОМОЩЬЮ РАЗЛИЧНЫХ НЕЙРОИНТЕРФЕЙСОВ METHOD AND TOOLS FOR MULTIMODAL DATA COLLECTION USING VARIOUS INTERFACES
Наумов Олег Владимирович, студент 2 курса магистратуры, факультет «Программная инженерия и компьютерная техника», Университет ИТМО, Россия, г. Санкт-Петербург
Билых Андрей Михайлович, доктор медицинских наук, факультет программной инженерии и компьютерной техники, доцент (квалификационная категория "доцент практики"), Университет ИТМО, Россия, г. Санкт-Петербург
Naumov Oleg Vladimirovich, 2nd year Master's student, Faculty of Software Engineering and Computer Engineering, ITMO University, Russia, St. Petersburg Bilykh Andrey Mikhailovich, Doctor of Medical Sciences, Faculty of Software Engineering and Computer Engineering, Associate Professor (qualification "Associate Professor of Practice"), ITMO University, Russia, St. Petersburg
Аннотация: В статье представлен сравнительный анализ исследований по определению функционального состояния человека с использованием различных методов и средств. В результате обзора были выявлены основные используемые физиологические данные, для которых был предложен метод
5707
разделения на модальности, позволяющий систематизировать подход к записи, визуализации и обработке этих данных. Также был предложен единый формат хранения данных в файлах. В результате было разработано клиент-серверное приложение для управления исследованиями, устройствами записи, испытуемыми и позволяющее производить одновременную запись мультимодальных данных с возможностью визуализации в реальном времени.
Summary: The article presents a comparative analysis of studies on determining the functional state of a person using various methods and tools. As a result of the review, the main physiological data used were identified, for which a method of division into modalities was proposed, allowing to systematize the approach to recording, visualization, and processing of these data. A unified format for storing data in files was also proposed. As a result, a client-server application was developed to manage studies, recording devices, subjects, and allowing simultaneous recording of multimodal data with real-time visualization capabilities.
Ключевые слова: функциональное состояние, мультимодальные данные, нейроинтерфейсы, ЭЭГ, ЭКГ, клиент-серверная архитектура, визуализация данных.
Keywords: functional state, multimodal data, neurointerfaces, EEG, ECG, client-server architecture, data visualization.
Введение
Изучение функционального состояния человека занимает приоритетное место в современной науке. Особый интерес представляет получение информации о физиологическом состоянии организма путем выявления интегральных особенностей отдельных биологических сигналов с последующей их обработкой и назначением подходящих алгоритмов. Такая возможность вытекает из представлений об информационном единстве внутриорганных связей, что создает основу для использования биологических сигналов для интегральной оценки не только состояния конкретного органа,
5708
являющегося источником того или иного сигнала, но и состояния других органов, систем органов и организма в целом [1].
Несомненно, существенное преимущество физиологических данных в том, что они являются объективным источником информации, которая теоретически доступна от любого человека, работающего в любой области. И несмотря на то, что исследования в области определения функционального состояния человека ведутся давно, именно в последние годы интерес к использованию физиологических сигналов пользователей значительно вырос благодаря резкому росту и доступности рынка датчиков. Благодаря этому с каждым годом исследования становятся все сложнее и используют все большее количество данных об организме человека. Однако на данный момент все еще не существует четких рекомендаций и уж тем более требований к процессу сбора физиологических данных. Как итог, отсутствуют готовые средства для сбора мультимодальных данных, позволяющих сделать этот процесс удобным и эффективным для исследователя. Именно поэтому целью данного исследования является разработка метода и средств для сбора физиологических данных разных модальностей с помощью различных интерфейсов.
Основная часть
Для того, чтобы выяснить, какие физиологические параметры используются чаще всего, был проведен сравнительный анализ исследований по определению функционального состояния человека.
1) Real-Time Assessment of Mental Workload Using Psychophysiological Measures and Artificial Neural Networks [2]. Каждый из участников выполнял на тренажере NASA Multi-Attribute Task Battery задания, требующие от испытуемого максимальной концентрации и собранности. Во время испытаний записывались физиологические данные, состоящие из шести
5709
каналов ЭЭГ, а также электрокардиографических (ЭКГ), электроокулографических (ЭОГ) и дыхательных входов.
2) Cross-subject workload classification with a hierarchical Bayes model [3]. В другом исследовании, также связанном с отслеживанием ФС во время выполнения задач MATB, участники проходили те же самые испытания в течение 4 дней с использованием различных уровней сложности: низкая, средняя и высокая. В качестве физиологических характеристик использовался сигнал ЭЭГ, состоящий из 19 каналов, смонтированных по международной системе 10-20 [4].
3) Multi-Modal Human Cognitive State Recognition during Reading [5]. В исследовании рассматривается распознавание когнитивного состояния человека в задаче естественного чтения. Автор отмечает, что из-за дороговизны процесса сбора данных и необходимости привлечения квалифицированных физиологов был использован готовый датасет ZuCo-2, состоящий из данных, полученных от трекера глаз (положение глаз и размер зрачков), и ЭЭГ данных, представленных 105 каналами.
4) Automated real-time classification of functional states based on physiological parameters [6]. В исследовании представлен метод автоматизированной дифференциации стресса и состояния спокойного бодрствования в режиме реального времени на основе комплексного анализа периферических физиологических параметров, включая гальваническую реакцию кожи, частоту дыхания, ЭКГ, ЭМГ, температуру тела, а также данные фотоплетизмографа.
5) Using Psycho-Physiological Measures to Assess Task Difficulty in Software Development [7]. В исследовании изучен новый подход к классификации сложности задач по пониманию программного кода, который использует такие психофизиологические данные, как ЭЭГ активность лобной доли мозга, электродермальная активность и положение глаз, собранные с разработчиков во время их работы.
5710
6) Multimodal Emotion Recognition in Response to Videos [8]. В данной статье представлен независимый от пользователя метод распознавания эмоций с целью восстановления аффективных меток для видео с помощью ЭЭГ, зрачковой реакции и расстояния взгляда испытуемого. Предложенные метод с высокой точностью определяет классы возбуждения (спокойный, средневозбужденный и активированный) и классы валентности (неприятный, нейтральный и приятный).
7) Multimodal emotion recognition from expressive faces, body gestures and speech [9]. Еще в одном исследовании, посвященном распознаванию эмоций, представлен мультимодальный подход для распознавания восьми эмоций, который объединяет информацию о выражении лица, движениях тела и речи. В ходе эксперимента участников попросили изобразить восемь эмоциональных состояний: гнев, отчаяние, интерес, удовольствие, печаль, раздражение, радость и гордость.
8) Реализация программной системы для анализа и коррекции эмоционального состояния человека на основе его личностных особенностей и физиологических показателей [10]. В статье описана программная система, позволяющая определить текущее состояние человека с учетом личностных особенностей и произвести его коррекцию в ситуациях, в которых он испытывает психоэмоциональное напряжение. Для регистрации физиологических показателей (ЭЭГ, ЭКГ) на каждом из них использовалось оборудование OpenBCI и BiTronics. Также на каждом этапе состояние респондента анализировалось по изображению лица и по результатам тестирования, в рамках которого респондент самостоятельно оценивал свое состояние.
Таблица 1 - Сравнительный анализ исследований по определению ФС
Номер Собираемые Устройства Собран
физиологические свой
сигналы датасет
5711
1 6 каналов ЭЭГ, ЭКГ, ЭОГ и частота дыхания ANT Waveguard system Да
2 19 ЭЭГ каналов MICROAMPS system (SAM Technologies, Inc.) - 256Hz Да
3 105 ЭЭГ каналов, положение и размер зрачков Geodesic EEG System -500Hz, трекер глаз EyeLink 1000 Plus - 500Hz Нет
4 ГКР, частота дыхания, ЭКГ, температура тела, ЭМГ, ФПГ Не обозначено Да
5 одноканальный ЭЭГ, КГР, положение глаз NeuroSky MindBand EEG -512 Hz, Affectiva Q Sensor 2.0 - 8Hz, Tobii TX300 Да
6 ЭКГ, 32 канала ЭЭГ, КГР, частота дыхания, температура тела, видеоизображение лица, запись речи Biosemi active II system -1024Hz, трекер глаз Tobii, видеокамера, микрофон Да
7 выражения лица, позы, речь 2 видеокамеры - 25fps, микрофон (+ звуковая карта) Да
8 ЭЭГ, ЭКГ, изображения лица OpenBCI CythonDaisy -125Hz, BiTronics, веб-камера Да
Основываясь на таблице, можно сказать, что в большинстве исследований используется мультимодальный подход к распознаванию функционального состояния человека. Кроме этого, стоит отметить, что исследователи чаще прибегают к сбору собственного датасета, нежели к использованию готового. И хотя большинство этих и других исследований
5712
проводились в лабораторных условиях и часто использовали дорогостоящее оборудование, последние улучшения в надежности датчиков, степени инвазивности и их стоимости сделали концепцию использования физиологических параметров в своих системах более привлекательной для небольших компаний и учебных лабораторий.
Исходя из полученной информации об используемых физиологических параметрах, был предложен метод разделения данных на различные модальности. На рисунке 1 представлена иерархия типов. В основе лежат 5 модальностей первого уровня: визуальный тип (visual), последовательный (serial), события и стимулы (event), аудиальный (audio) и пространственный тип (positional). Некоторые модальности могут быть конкретизированы с помощью указания второго уровня. Так, к типу serial могут относиться данные как ЭКГ (ecg), так и ЭЭГ (eeg), более того, они могут быть объединены. Для обозначения полной модальности данных используется схожий с mimetype формат. Например, для общих данных, снятых при помощи ЭКГ и ЭЭГ должно быть использовано обозначение «serial/eeg+ecg», а для данных с трекера глаз - «positional/2d».
visual
serial
event
audio
positional
image video
eeg ecg eeg+ecg audio
2d
3d
z
A
Y
Рисунок 1 - Иерархия модальностей
5713
От указанной модальности зависит способ визуализации записываемых данных в системе, а также набор доступных средств для обработки и анализа этих данных. Так, для типа serial сигнал должен быть показан как непрерывная линия, меняющая частоту и амплитуду, для типа visual - изображение с видеокамеры с заданной частотой кадров, а для типа positional/2d - точки на двумерной координатной плоскости.
После систематизации модальностей данных фокус работы был смещен на выбор формата хранения данных. Перед выбором единого формата были изучены существующие спецификации. Например, General Data Format (GDF), Extensible Data Format (XDF) и European Data Format (EDF). Каждый из форматов имеет ряд недостатков и преимуществ, однако в итоге был предложен собственный формат хранения данных. Далее представлена его спецификация. Файл имеет структуру, объединенную из 2-х распространенных форматов. В первой строке файла хранится сериализованный JSON-объект с метаданными, включающими в себя информацию об устройстве записи, об испытуемом и модальности данных. Следующие строки представлены в формате CSV с обязательным заголовком, содержащим названия каналов. При этом последняя колонка для любой модальности является колонкой с временной меткой, содержащей количество секунд с начала эпохи. Такой формат данных очень прост для считывания с использованием нескольких строк кода, а также может быть прочитан человеком без использования специального ПО. На рисунке 2 представлен фрагмент записи ЭКГ с устройства Arduino UNO с помощью сенсора ECG/EMG.
1 {"modality":;^"serial/ecg",^"subject": {"папе": "Oleg", "age": 23}, "device":
Рисунок 2 - Фрагмент записи ЭКГ с устройства Arduino UNO
5714
На рисунке 3 представлен фрагмент записи событий, возникающих во время эксперимента. Каждая отметка события содержит его название, дополнительные данные в виде JSON-строки и временную метку.
1{"modality": "event"}
2 name,payload,timestamp
3 timeupdate,"{""video_time""
4 timeupdate,"{""video_time""
5 timeupdate,"{""video_time""
6 timeupdate,"{""video_time""
0.153773}",165308359Z.691975 0.405038}",1653083592.9108276 0.656049}",1653083593.1405396 0.907191}",1653083593.324588
Рисунок 3 - Фрагмент записи событий Завершающим этапом исследования стала разработка системы по ранее спроектированным методам. В основе приложения лежит клиент-серверная архитектура, однако предполагается, что обе части запускаются только локально на ПК исследователя. На рисунке 4 представлена архитектура приложения.
Рисунок 4 - Архитектура приложения Для разработки серверной части использовался язык Python, т. к. большинство нейроинтерфейсов имеют для него SDK, а также впоследствии он может быть использован для обработки и анализа данных. В качестве серверного фреймворка был выбран Flask, с помощью которого было создано REST API, позволяющее управлять исследованиями, устройствами, испытуемыми и их записями. Кроме этого, особое внимание было уделено процессу управлению устройствами. Для этих целей был разработан базовый
5715
класс Device, который предоставляет общий интерфейс, а также организовывает работу каждого устройства в отдельном процессе. Благодаря этому для добавления нового устройства необходимо реализовать лишь логику подключения к нему и считыванием данных в цикле.
Для клиентской части был использован язык JavaScript с применением фреймворка Nuxt.Js. Интерфейс содержит несколько разделов с возможностью перехода между ними:
• Раздел «Исследования» позволяет начать новое исследование, предварительно задав его описание, выбрав устройства для записи данных и их первичные настройки, настроив форму создания испытуемого и загрузив фрейм эксперимента при необходимости.
• Раздел «Испытуемые» позволяет собрать информацию обо всех участниках исследования в одном месте. Кроме этого, раздел покажет такую информацию как средний возраст участников и подсчет количества мужчин и женщин среди испытуемых.
• Раздел «Записи» позволяет управлять записанными данными испытуемого, а также инициировать новую запись. Процесс записи начинается с включения и подсоединения всех устройств, указанных при создании исследования. Затем, после активации записи, испытуемому при наличии показывается подготовленный фрейм эксперимента, демонстрирующий различные стимулы и раздражители. Фрейм встраивается в главное приложение при помощи технологии iframe.
• Раздел «Мониторинг данных» позволяет следить за записываемыми данными в режиме онлайн. Формат визуализации, как было сказано ранее, зависит от модальности данных. На рисунке 5 представлены примеры визуализации данных ЭКГ, ЭЭГ, положения глаз и изображений лица.
5716
Рисунок 5 - Примеры визуализации данных различных модальностей
Заключение
По итогам исследования было разработано приложение, позволяющее записывать одновременно мультимодальные данные, синхронизированные во времени и имеющие схожую структуру файла, удобную как для чтения человеком, так и для автоматической обработки. Предложенная архитектура позволяет с небольшими усилиями добавлять новые модальности и новые устройства. В настоящее время продолжается работа над модулями обработки и анализа записанных данных.
Литература
1. Чуян Е.Н., Бирюкова Е.А., Раваева М.Ю. Комплексный подход к оценке функционального состояния организма студентов // Биология, химия. Том 21 (60). — 2008. — №1. — С. 123-129.
2. Wilson, G. F., & Russell, C. A. Real-time assessment of mental workload using psychophysiological measures and artificial neural networks. Human factors. — 45(4). — 2003. — С. 635-643.
5717
3. Ziheng Wang, Ryan M. Hope, Zuoguan Wang, Qiang Ji, Wayne D. Gray. Cross-subject workload classification with a hierarchical Bayes model // NeuroImage. 59 (1). - 2012. - С. 64-69.
4. Система 10-20 [Электронный ресурс]. — 2021. — URL: Ы^://ст1Ло/ээг/система-10-20/
5. Li, Jiajia & Ngai, Grace & Leong, Hong & Chan, Stephen. Multimodal Human Attention Detection for Reading from Facial Expression, Eye Gaze, and Mouse Dynamics // ACM SIGAPP Applied Computing Review. — №16. — 2016. — С. 37-49.
6. Lobacheva, Ekaterina & Galatenko, Yulia & Solodova, Rozaliya & Galatenko, Vladimir & Livshitz, Eugene & Lukashenko, Taras & Vetrov, Dmitriy & Lebedev, Alexey & Podol'skii, Vladimir & Lebedev, Vyacheslav & Isaychev, Sergey & Chernorizov, Alexandr & Zinchenko, Yuriy. Automated Real-time Classification of Functional States based on Physiological Parameters // Procedia - Social and Behavioral Sciences. — 2013. — №86. — C. 373-378.
7. Kontogiorgos, Dimosthenis & Manikas, Konstantinos. Towards identifying programming expertise with the use of physiological measures. — 2015.
8. M. Soleymani, M. Pantic and T. Pun. Multimodal Emotion Recognition in Response to Videos. IEEE Transactions on Affective Computing. — Том 3 (2). — 2012. C. 211-223.
9. Caridakis, George & Castellano, Ginevra & Kessous, Loic & Raouzaiou, Amaryllis & Malatesta, Lori & Asteriadis, Stylianos & Karpouzis, Kostas. Multimodal emotion recognition from expressive faces, body gestures. // International Federation for Information Processing Digital Library. - 2007. -С.247.
10. Винниченко А.Д., Котельникова Е.А., Новиков Д.Ю., Редчиц А.В., Билый А.М. Методы для анализа и коррекции функционального состояния человека с учетом его типа темперамента // Вестник психофизиологии. -№ 3. - 2021. - С. 60-72.
5718
Literature
1. Chuyan E.N., Biryukova E.A., Ravaeva M.Yu. An integrated approach to assessing the functional state of the students' organism // Biology, Chemistry. Volume 21 (60). - 2008. - No. 1. — pp. 123-129.
2. Wilson, G. F., & Russell, C. A. Real-time assessment of mental workload using psychophysiological measures and artificial neural networks. human factors. -45(4). - 2003. - S. 635-643.
3. Ziheng Wang, Ryan M. Hope, Zuoguan Wang, Qiang Ji, Wayne D. Gray. Cross-subject workload classification with a hierarchical Bayes model // Neurolmage. 59(1). - 2012. - S. 64-69.
4. System 10-20 [Electronic resource]. - 2021. - URL: https://cmi.to/eeg/system-10-20/
5. Li, Jiajia & Ngai, Grace & Leong, Hong & Chan, Stephen. Multimodal Human Attention Detection for Reading from Facial Expression, Eye Gaze, and Mouse Dynamics // ACM SIGAPP Applied Computing Review. - No. 16. - 2016. - S. 37-49.
6. Lobacheva, Ekaterina & Galatenko, Yulia & Solodova, Rozaliya & Galatenko, Vladimir & Livshitz, Eugene & Lukashenko, Taras & Vetrov, Dmitriy & Lebedev, Alexey & Podol'skii, Vladimir & Lebedev, Vyacheslav & Isaychev, Sergey & Chernorizov, Alexander & Zinchenko, Yuriy. Automated Real-time Classification of Functional States based on Physiological Parameters // Procedia - Social and Behavioral Sciences. - 2013. - No. 86. - C. 373-378.
7. Kontogiorgos, Dimosthenis & Manikas, Konstantinos. Towards identifying programming expertise with the use of physical measures. — 2015.
8. M. Soleymani, M. Pantic and T. Pun. Multimodal Emotion Recognition in Response to Videos. IEEE Transactions on Affective Computing. - Volume 3 (2). - 2012. C. 211-223.
9. Caridakis, George & Castellano, Ginevra & Kessous, Loic & Raouzaiou, Amaryllis & Malatesta, Lori & Asteriadis, Stylianos & Karpouzis, Kostas.
5719
Multimodal emotion recognition from expressive faces, body gestures. // International Federation for Information Processing Digital Library. - 2007. -S. 247.
10. Vinnichenko A.D., Kotelnikova E.A., Novikov D.Yu., Redchits A.V., Bilyi A.M. Methods for the analysis and correction of the functional state of a person, taking into account his type of temperament. Bulletin of psychophysiology. -No. 3. - 2021. - P. 60-72.
© Наумов О.В., Билых А.М., 2022 Научно-образовательный журнал для студентов и преподавателей «StudNet» №6/2022.
Для цитирования: Наумов О.В., Билых А.М. МЕТОД И СРЕДСТВА ДЛЯ СБОРА МУЛЬТИМОДАЛЬНЫХ ДАННЫХ С ПОМОЩЬЮ РАЗЛИЧНЫХ НЕЙРОИНТЕРФЕЙСОВ// Научно-образовательный журнал для студентов и преподавателей «StudNet» №6/2022.
5720
